Изменение потребностей в системах агентского ИИ
Большие языковые модели (БЯМ) широко известны своими способностями, напоминающими человеческие, и навыками ведения диалогов. Однако с быстрым ростом агентских систем ИИ БЯМ всё чаще используются для выполнения повторяющихся специализированных задач.
Этот сдвиг набирает обороты: более половины крупных IT-компаний уже используют ИИ-агентов, вкладывая значительные средства в эту сферу и прогнозируя рост рынка. Эти агенты полагаются на БЯМ для принятия решений, планирования и выполнения задач, обычно через централизованные облачные API.
Массивные инвестиции в инфраструктуру БЯМ отражают уверенность в том, что эта модель останется основополагающей для будущего ИИ.
МЯМ: эффективность, пригодность и аргументы против чрезмерной зависимости от БЯМ
Исследователи из NVIDIA и Технологического института Джорджии утверждают, что малые языковые модели (МЯМ) не только достаточно мощны для решения многих задач агентов, но и более эффективны и экономичны, чем большие модели. Они считают, что МЯМ лучше подходят для повторяющихся и простых задач, характерных для большинства агентских операций.
Хотя большие модели остаются незаменимыми для более общих, требующих общения нужд, исследователи предлагают использовать сочетание моделей в зависимости от сложности задачи. Они ставят под сомнение текущую зависимость от БЯМ в агентских системах и предлагают схему перехода от БЯМ к МЯМ.
Почему МЯМ достаточно для агентских операций
Исследователи утверждают, что МЯМ не только способны решать большинство задач в рамках ИИ-агентов, но и более практичны и экономичны, чем БЯМ. Они определяют МЯМ как модели, которые могут эффективно работать на потребительских устройствах, подчёркивая их сильные стороны:
* более низкая задержка;
* сниженное энергопотребление;
* более простая настройка.
Поскольку многие агентские задачи повторяются и фокусируются, МЯМ часто бывает достаточно и даже предпочтительнее.
В статье предлагается перейти к модульным агентским системам, используя МЯМ по умолчанию и БЯМ только при необходимости, что способствует более устойчивому, гибкому и инклюзивному подходу к созданию интеллектуальных систем.
Аргументы в пользу доминирования БЯМ
Некоторые утверждают, что БЯМ всегда будут превосходить малые модели (МЯМ) в общих языковых задачах благодаря более совершенному масштабированию и семантическим способностям. Другие считают централизованный вывод БЯМ более экономически эффективным из-за эффекта масштаба.
Существует также мнение, что БЯМ доминируют просто потому, что они появились раньше и привлекли внимание большей части отрасли. Однако исследование опровергает это, утверждая, что МЯМ легко адаптируются, дешевле в эксплуатации и могут эффективно решать чётко определённые подзадачи в агентских системах.
Тем не менее более широкое внедрение МЯМ сталкивается с препятствиями, включая:
* инвестиции в существующую инфраструктуру;
* предвзятость при оценке в пользу БЯМ;
* низкую осведомлённость общественности.
Схема перехода от БЯМ к МЯМ
Чтобы плавно перейти от БЯМ к меньшим специализированным моделям (МЯМ) в агентских системах, процесс начинается со сбора данных об использовании, обеспечивая при этом конфиденциальность. Затем данные очищаются и фильтруются для удаления конфиденциальной информации.
С помощью кластеризации общие задачи группируются, чтобы определить, где МЯМ могут взять на себя управление. На основе потребностей в задачах выбираются и настраиваются подходящие МЯМ с использованием специализированных наборов данных, часто с использованием эффективных методов, таких как LoRA. В некоторых случаях выходные данные БЯМ направляют обучение МЯМ.
Это не единовременный процесс — модели должны регулярно обновляться и совершенствоваться, чтобы соответствовать меняющимся взаимодействиям пользователей и задачам.
Заключение: к устойчивому и ресурсоэффективному агентскому ИИ
В заключение исследователи считают, что переход от больших моделей к МЯМ может значительно повысить эффективность и устойчивость агентских систем ИИ, особенно для задач, которые повторяются и узко сфокусированы. Они утверждают, что МЯМ часто достаточно мощны, более экономичны и лучше подходят для таких задач по сравнению с БЯМ общего назначения.
В случаях, требующих более широких возможностей общения, рекомендуется использовать сочетание моделей. Чтобы стимулировать прогресс и открытый диалог, исследователи приглашают к обсуждению и сотрудничеству. Цель — вдохновить на более продуманное и ресурсоэффективное использование технологий ИИ в будущем.