В настоящее время индустрия искусственного интеллекта увлечена «агентами» — автономными программами, которые делают больше, чем просто общаются. Однако большинство современных мультиагентных систем основаны на хрупких, жёстко заданных эвристиках, которые терпят неудачу при изменении среды.
Исследователи Google DeepMind предложили новое решение. Исследовательская группа утверждает, что для масштабирования «агентской сети» агенты должны выйти за рамки простого разделения задач и принять организационные принципы, подобные человеческим, такие как власть, ответственность и подотчётность.
Определение «интеллектуального» делегирования
В стандартном программном обеспечении подпрограмма просто «передаётся на аутсорсинг». Интеллектуальное делегирование отличается. Это последовательность решений, при которой делегирующий передаёт полномочия и ответственность делегату. Этот процесс включает в себя оценку рисков, сопоставление возможностей и установление доверия.
5 столпов фреймворка
Для создания этого исследовательская группа определила 5 основных требований, соответствующих конкретным техническим протоколам:
| Столп фреймворка | Техническая реализация | Основная функция |
| — | — | — |
| Динамическая оценка | Разбиение и назначение задач | Детальное определение состояния и возможностей агента. |
| Адаптивное исполнение | Адаптивная координация | Обработка изменений контекста и сбоев во время выполнения. |
| Структурная прозрачность | Мониторинг и проверка завершения | Аудит процесса и конечного результата. |
| Масштабируемый рынок | Доверие, репутация и многоцелевая оптимизация | Эффективная, надёжная координация на открытых рынках. |
| Системная устойчивость | Безопасность и управление разрешениями | Предотвращение каскадных сбоев и злонамеренного использования. |
Инженерная стратегия: декомпозиция «сначала контракт»
Наиболее значительный сдвиг — декомпозиция «сначала контракт». Согласно этому принципу, делегирующий назначает задачу только в том случае, если результат можно точно проверить.
Если задача слишком субъективна или сложна для проверки — например, «написать убедительную исследовательскую работу» — система должна рекурсивно разложить её. Это продолжается до тех пор, пока подзадачи не будут соответствовать доступным инструментам проверки, таким как модульные тесты или формальные математические доказательства.
Рекурсивная проверка: цепочка хранения
В цепочке делегирования, такой как 𝐴 → 𝐵 → 𝐶, подотчётность является транзитивной. Агент B отвечает за проверку работы C.
Когда агент B возвращает результат агенту A, он должен предоставить полную цепочку криптографически подписанных подтверждений. Агент A затем выполняет двухэтапную проверку: проверку прямой работы B и проверку того, что B правильно проверил работу C.
Безопасность: токены и туннели
Масштабирование этих цепочек создаёт огромные риски для безопасности, включая утечку данных, внедрение бэкдоров и извлечение моделей.
Для защиты сети команда DeepMind предлагает использовать токены возможностей делегирования (DCT). Основываясь на таких технологиях, как Macaroons или Biscuits, эти токены используют «криптографические оговорки» для обеспечения принципа минимальных привилегий. Например, агент может получить токен, который позволяет ему читать определённую папку Google Диска, но запрещает любые операции записи.
Оценка текущих протоколов
Исследовательская группа проанализировала, готовы ли текущие отраслевые стандарты к этому фреймворку. Хотя эти протоколы обеспечивают основу, у всех них есть «недостающие элементы» для делегирования с высокими ставками.
MCP (протокол контекстуализации модели): стандартизирует способы подключения моделей к инструментам. Пробел: отсутствует уровень политики для управления разрешениями в глубоких цепочках делегирования.
A2A (агент-агенту): управляет обнаружением и жизненными циклами задач. Пробел: отсутствуют стандартизированные заголовки для доказательств с нулевым разглашением (ZKPs) или цепочки цифровых подписей.
AP2 (протокол платежей агентам): уполномочивает агентов тратить средства. Пробел: не может изначально проверить качество работы перед выплатой.
UCP (универсальный коммерческий протокол): стандартизирует коммерческие транзакции. Пробел: оптимизирован для покупок/выполнения заказов, а не для абстрактных вычислительных задач.
Ключевые выводы
1. Выход за рамки эвристики. Текущее делегирование ИИ основано на простых, жёстко заданных эвристиках, которые хрупки и не могут динамически адаптироваться к изменениям окружающей среды или непредвиденным сбоям. Интеллектуальное делегирование требует адаптивного фреймворка, который включает в себя передачу полномочий, ответственности и подотчётности.
2. Декомпозиция задач «сначала контракт». Для достижения сложных целей делегирующие должны использовать подход «сначала контракт», при котором задачи разбиваются до тех пор, пока подблоки не будут соответствовать конкретным, автоматизированным возможностям проверки, таким как модульные тесты или формальные доказательства.
3. Транзитивная подотчётность в цепочках. В длинных цепочках делегирования (например, 𝐴 → 𝐵 → 𝐶) ответственность является транзитивной. Агент B отвечает за работу C, а агент A должен проверить как прямую работу B, так и то, что B правильно проверил подтверждения C.
4. Ослабленная безопасность с помощью токенов. Чтобы предотвратить системные нарушения и «проблему запутанного заместителя», агенты должны использовать токены возможностей делегирования (DCT), которые предоставляют ослабленные разрешения. Это гарантирует, что агенты работают в соответствии с принципом минимальных привилегий, с доступом, ограниченным определёнными подмножествами ресурсов и разрешёнными операциями.
1. Какие основные проблемы существующих мультиагентных систем решает предложенный фреймворк Google DeepMind?
Ответ: существующие мультиагентные системы основаны на хрупких, жёстко заданных эвристиках, которые терпят неудачу при изменении среды. Предложенный фреймворк Google DeepMind решает эту проблему путём внедрения организационных принципов, подобных человеческим, таких как власть, ответственность и подотчётность, для масштабирования «агентской сети».
2. Какие технические протоколы лежат в основе пяти столпов фреймворка Google DeepMind?
Ответ: в основе пяти столпов фреймворка Google DeepMind лежат технические протоколы, обеспечивающие динамическую оценку, адаптивное исполнение, структурную прозрачность, масштабируемый рынок и системную устойчивость. Эти протоколы включают разбиение и назначение задач, адаптивную координацию, аудит процесса и конечного результата, эффективную и надёжную координацию на открытых рынках, а также безопасность и управление разрешениями.
3. Как работает принцип декомпозиции «сначала контракт» в контексте интеллектуального делегирования?
Ответ: принцип декомпозиции «сначала контракт» предполагает, что делегирующий назначает задачу только в том случае, если результат можно точно проверить. Если задача слишком субъективна или сложна для проверки, система должна рекурсивно разложить её до тех пор, пока подзадачи не будут соответствовать доступным инструментам проверки, таким как модульные тесты или формальные математические доказательства.
4. Какие риски для безопасности создаёт масштабирование цепочек делегирования и как предлагает их решать команда DeepMind?
Ответ: масштабирование цепочек делегирования создаёт риски для безопасности, включая утечку данных, внедрение бэкдоров и извлечение моделей. Команда DeepMind предлагает использовать токены возможностей делегирования (DCT), основанные на технологиях, таких как Macaroons или Biscuits, для обеспечения принципа минимальных привилегий и защиты сети.
5. Какие ключевые выводы можно сделать из предложенного фреймворка Google DeepMind для интеллектуального делегирования ИИ?
Ответ: ключевые выводы включают необходимость выхода за рамки эвристики, использования декомпозиции задач «сначала контракт» для достижения сложных целей, обеспечения транзитивной подотчётности в цепочках делегирования и ослабления безопасности с помощью токенов для предотвращения системных нарушений и «проблемы запутанного заместителя».