Введение в систему MASS
Мультиагентные системы становятся ключевым направлением в искусственном интеллекте благодаря своей способности координировать несколько больших языковых моделей (LLM) для решения сложных задач. Вместо того чтобы полагаться на одну модель, эти системы распределяют роли между агентами, каждый из которых выполняет уникальную функцию. Это повышает способность системы анализировать, реагировать и действовать более эффективно.
Применение таких систем в отладке кода, анализе данных, генерации с дополненным поиском или интерактивном принятии решений позволяет агентам, управляемым LLM, достигать результатов, с которыми не могут сравниться одиночные модели.
Сила этих систем заключается в их дизайне, особенно в конфигурации межагентных связей, известных как топологии, и конкретных инструкциях, данных каждому агенту, называемых промптами.
Оптимизация мультиагентных систем
Однако проектирование таких систем — сложная задача. Небольшие изменения в промптах могут существенно повлиять на производительность. Это затрудняет масштабирование, особенно когда агенты связаны в рабочих процессах, где выходные данные одного служат входными данными для другого.
Исследователи из Google и Кембриджского университета представили новую систему под названием Multi-Agent System Search (MASS). Этот метод автоматизирует проектирование мультиагентных систем, оптимизируя как промпты, так и топологии.
MASS работает в три этапа:
1. Локальная оптимизация промптов.
2. Выбор эффективных топологий рабочего процесса на основе оптимизированных промптов.
3. Глобальная оптимизация промптов на системном уровне.
Технические аспекты реализации MASS
Каждый строительный блок мультиагентной системы подвергается уточнению промптов. Эти блоки — агентские модули с определёнными обязанностями, такими как агрегация, рефлексия или дебаты.
Оптимизаторы промптов генерируют вариации, которые включают как инструктивные руководства (например, «думай шаг за шагом»), так и обучение на основе примеров (например, однократные или малократные демонстрации). Оптимизатор оценивает их с помощью метрики валидации, чтобы направлять улучшения.
После локальной оптимизации промптов каждого агента система переходит к исследованию допустимых комбинаций агентов для формирования топологий. Эта оптимизация топологии основана на более ранних результатах и ограничена сокращённым пространством поиска, определённым как наиболее влиятельное.
Наконец, лучшая топология подвергается настройке промптов на глобальном уровне, где инструкции настраиваются в контексте всего рабочего процесса для максимизации коллективной эффективности.
Результаты тестирования
В задачах, таких как рассуждение, многошаговое понимание и генерация кода, оптимизированная мультиагентная система последовательно превосходила существующие эталоны.
На наборе данных MATH средняя точность оптимизированных агентов составила около 84% с использованием усовершенствованных техник промптинга по сравнению с 76–80% для агентов, масштабированных с помощью самосогласованности или многоагентных дебатов.
В бенчмарке HotpotQA использование топологии дебатов в рамках MASS дало прирост на 3%. В то же время другие топологии, такие как рефлексия или обобщение, не привели к улучшению или даже вызвали снижение производительности на 15%.
Ключевые выводы из исследования
- Сложность проектирования мультиагентных систем значительно зависит от чувствительности промптов и топологической организации.
- Оптимизация промптов как на уровне блоков, так и на системном уровне более эффективна, чем масштабирование агентов в одиночку.
- Не все топологии полезны; дебаты добавили +3% в HotpotQA, в то время как рефлексия вызвала падение до -15%.
- Система MASS объединяет оптимизацию промптов и топологий в три этапа, значительно снижая вычислительные и проектные нагрузки.
- Топологии, такие как дебаты и исполнитель, эффективны, в то время как другие, такие как рефлексия и обобщение, могут ухудшить производительность системы.
- MASS избегает полной сложности поиска, сокращая пространство проектирования на основе раннего анализа влияния, улучшая производительность при экономии ресурсов.
- Подход является модульным и поддерживает конфигурации агентов по принципу «включи и работай», что делает его адаптируемым к различным областям и задачам.
В заключение, это исследование выявляет чувствительность промптов и сложность топологии как основные узкие места в разработке мультиагентных систем и предлагает структурированное решение, которое стратегически оптимизирует обе области.
Система MASS демонстрирует масштабируемый, эффективный подход к проектированию мультиагентных систем, минимизируя потребность в участии человека и максимизируя производительность.