Компания Liquid AI выпустила модель LFM2-24B-A2B, оптимизированную для локального запуска инструментов с низкой задержкой, а также приложение LocalCowork — настольный агент с открытым исходным кодом, доступное в GitHub-кулинарной книге Liquid4All.
Архитектура и конфигурация сервера
Для обеспечения выполнения с низкой задержкой на потребительском оборудовании LFM2-24B-A2B использует разрежённую архитектуру Mixture-of-Experts (MoE). Хотя модель содержит в общей сложности 24 миллиарда параметров, во время логического вывода она активирует примерно 2 миллиарда параметров на токен.
Такая структурная конструкция позволяет модели поддерживать обширную базу знаний, значительно снижая при этом вычислительные затраты, необходимые для каждого этапа генерации.
Интеграция инструментов LocalCowork
LocalCowork — это полностью автономный настольный ИИ-агент, который использует протокол Model Context (MCP) для выполнения предварительно созданных инструментов без использования облачных API и без ущерба для конфиденциальности данных. Система включает 75 инструментов на 14 серверах MCP, способных выполнять такие задачи, как операции с файловой системой, оптическое распознавание символов (OCR) и сканирование безопасности.
Однако в демоверсии представлено тщательно отобранное подмножество из 20 инструментов на 6 серверах, каждый из которых прошёл тщательное тестирование для достижения более чем 80% точности выполнения одношаговых операций и проверенного участия в многошаговых цепочках.
Производительность
Команда Liquid AI оценила модель на рабочей нагрузке из 100 одношаговых запросов на выборку инструмента и 50 многошаговых цепочек (требующих от 3 до 6 отдельных исполнений инструментов, таких как поиск в папке, запуск OCR, анализ данных, дедупликация и экспорт).
Время отклика
Модель в среднем затрачивает ~385 мс на ответ по выбору инструмента. Это время отклика менее секунды, что очень подходит для интерактивных приложений с участием человека, где необходима немедленная обратная связь.
Точность
Одношаговые исполнения: 80% точности.
Многошаговые цепочки: 26% завершения от начала до конца.
Ключевые выводы
* Локальное выполнение с учётом конфиденциальности. LocalCowork работает полностью на устройстве без зависимости от облачных API или передачи данных, что делает его очень подходящим для регулируемых корпоративных сред, требующих строгой конфиденциальности данных.
* Эффективная архитектура MoE. LFM2-24B-A2B использует разрежённую архитектуру Mixture-of-Experts (MoE), активируя только ~2 миллиарда из своих 24 миллиардов параметров на токен, что позволяет ей удобно помещаться в пределах ~14,5 ГБ оперативной памяти с использованием квантования Q4KM GGUF.
* Подсекундная задержка на потребительском оборудовании. При тестировании на ноутбуке Apple M4 Max модель достигает средней задержки ~385 мс для диспетчеризации выбора инструмента, что позволяет выполнять высокоинтерактивные рабочие процессы в реальном времени.
* Стандартизированная интеграция инструментов MCP. Агент использует протокол Model Context (MCP) для беспрепятственного подключения к локальным инструментам, включая операции с файловой системой, OCR и сканирование безопасности, автоматически регистрируя все действия в локальном журнале аудита.
* Высокая точность одношаговых операций с ограничениями многошаговых. Модель достигает 80% точности при одношаговом выполнении инструмента, но снижает показатель до 26% при многошаговых цепочках из-за «путаницы с братьями и сёстрами» (выбор похожего, но неверного инструмента), что указывает на то, что в настоящее время она лучше всего функционирует в управляемом цикле с участием человека, а не как полностью автономный агент.
1. Какие преимущества предлагает модель LFM2-24B-A2B для локального выполнения рабочих процессов?
Ответ: модель LFM2-24B-A2B предлагает преимущества для локального выполнения рабочих процессов благодаря своей разрежённой архитектуре Mixture-of-Experts (MoE), которая позволяет активировать только часть параметров модели, снижая вычислительные затраты и обеспечивая выполнение с низкой задержкой на потребительском оборудовании.
2. Какие инструменты включены в демоверсию LocalCowork и какова их точность выполнения?
Ответ: в демоверсии LocalCowork представлено 20 инструментов на 6 серверах MCP. Эти инструменты прошли тщательное тестирование и достигли более чем 80% точности выполнения одношаговых операций. Многошаговые цепочки имеют 26% завершения от начала до конца.
3. Какие задачи могут выполнять инструменты LocalCowork?
Ответ: инструменты LocalCowork могут выполнять различные задачи, такие как операции с файловой системой, оптическое распознавание символов (OCR) и сканирование безопасности.
4. Какие выводы можно сделать о производительности модели LFM2-24B-A2B на основе предоставленных данных?
Ответ: на основе предоставленных данных можно сделать вывод, что модель LFM2-24B-A2B имеет высокую производительность с подсекундной задержкой на потребительском оборудовании. Она достигает средней задержки ~385 мс для диспетчеризации выбора инструмента, что позволяет выполнять высокоинтерактивные рабочие процессы в реальном времени.
5. Какие ограничения существуют у модели LFM2-24B-A2B при выполнении многошаговых цепочек?
Ответ: модель LFM2-24B-A2B имеет ограничения при выполнении многошаговых цепочек из-за «путаницы с братьями и сёстрами» (выбор похожего, но неверного инструмента). Это указывает на то, что в настоящее время модель лучше всего функционирует в управляемом цикле с участием человека, а не как полностью автономный агент.