Создание эффективных ИИ-агентов — это больше, чем просто выбор мощной языковой модели. Как показал проект Manus, ключевую роль играет проектирование и управление «контекстом» — информацией, которую ИИ обрабатывает для принятия решений. Этот аспект напрямую влияет на скорость, стоимость, надёжность и интеллект агента.
Основные уроки, извлечённые в Manus для эффективной работы с контекстом:
1. Проектирование вокруг KV-кэша
KV-кэш имеет решающее значение для производительности агентов, напрямую влияя на задержку и стоимость. Агенты постоянно добавляют действия и наблюдения в свой контекст, что делает входные данные значительно длиннее выходных. KV-кэш повторно использует идентичные префиксы контекста, что значительно сокращает время и стоимость обработки (например, разница в стоимости в 10 раз с Claude Sonnet).
* Стабильные префиксы запросов: даже изменение на один токен в начале системного запроса может сделать кэш недействительным. Избегайте динамических элементов, таких как точные временные метки.
* Контекст только для добавления: не изменяйте прошлые действия или наблюдения. Обеспечьте детерминированную сериализацию данных (например, JSON), чтобы предотвратить незаметные разрывы кэша.
* Явные точки прерывания кэша: некоторые фреймворки требуют ручного добавления точек прерывания кэша, идеально после системного запроса.
2. Маскировать, а не удалять
По мере того как агенты получают больше инструментов, пространство их действий усложняется, что может «упрощать» агента, поскольку он пытается выбрать правильно. Хотя динамическая загрузка инструментов может показаться интуитивно понятной, она делает KV-кэш недействительным и сбивает модель, если прошлый контекст относится к неопределённым инструментам.
Manus вместо этого использует контекстно-зависимую конечную машину для управления доступностью инструментов, маскируя токены logits во время декодирования. Это предотвращает выбор моделью недоступных или неподходящих действий без изменения основных определений инструментов, сохраняя контекст стабильным и концентрируя внимание агента.
3. Использовать файловую систему как контекст
Даже при больших окнах контекста (128K+ токенов) наблюдения в реальном мире (например, веб-страницы или PDF-файлы) могут легко превысить ограничения, снизить производительность и привести к высоким затратам. Необратимое сжатие рискует потерей важной информации, необходимой для будущих шагов.
Manus рассматривает файловую систему как конечный, неограниченный контекст. Агент учится читать из файлов и записывать в них по требованию, используя файловую систему в качестве внешней структурированной памяти. Стратегии сжатия всегда разрабатываются таким образом, чтобы их можно было восстановить (например, сохранение URL-адреса, но удаление содержимого страницы), что эффективно сокращает длину контекста без потери данных.
4. Управление вниманием через повторение
Агенты могут потерять фокус или забыть долгосрочные цели в сложных многошаговых задачах. Manus решает эту проблему, заставляя агента постоянно переписывать файл todo.md. Повторяя свои цели и прогресс в конце контекста, модель сосредотачивает внимание на своём глобальном плане, смягчая проблемы «потерянности в середине» и снижая несогласованность целей.
5. Хранить неправильные данные
Агенты будут совершать ошибки — галлюцинировать, сталкиваться с ошибками, вести себя неадекватно. Естественное желание — устранить эти сбои. Однако Manus обнаружил, что оставление неудачных действий и наблюдений в контексте неявно обновляет внутренние убеждения модели. Видя свои собственные ошибки, агент учится и снижает вероятность повторения той же ошибки, делая восстановление после ошибок ключевым показателем истинного поведения агента.
6. Избегайте использования малого количества примеров
Хотя использование малого количества примеров (few-shot prompting) мощно для языковых моделей, оно может привести к нежелательным результатам у агентов, вызывая подражание и неоптимальное, повторяющееся поведение. Когда контекст слишком однороден с похожими парами действий и наблюдений, агент может попасть в рутину, что приведёт к дрейфу или галлюцинациям.
Решение — контролируемое разнообразие. Manus вводит небольшие вариации в шаблоны сериализации, формулировки или форматирование в контексте. Этот «шум» помогает разрушить повторяющиеся шаблоны и смещает внимание модели, предотвращая её застревание в жёстком подражании прошлым действиям.
В заключение, контекстная инженерия — это новая, но критически важная область для ИИ-агентов. Она выходит за рамки простой мощности модели, определяя, как агент управляет памятью, взаимодействует со своей средой и учится на обратной связи. Освоение этих принципов необходимо для создания надёжных, масштабируемых и интеллектуальных ИИ-агентов.
Спонсорская возможность: охватите наиболее влиятельных разработчиков ИИ в США и Европе. 1 миллион+ читателей в месяц, 500 тысяч+ создателей сообществ, бесконечные возможности. [Изучите спонсорство]
Эта статья впервые появилась на MarkTechPost.
1. Какую роль играет KV-кэш в работе ИИ-агентов и как его использование влияет на производительность?
KV-кэш играет решающую роль в производительности ИИ-агентов, напрямую влияя на задержку и стоимость. Использование KV-кэша позволяет повторно использовать идентичные префиксы контекста, что значительно сокращает время и стоимость обработки. Например, разница в стоимости может достигать 10 раз с Claude Sonnet.
2. Какие основные принципы работы с контекстом были извлечены в проекте Manus для эффективной работы ИИ-агентов?
Основные принципы работы с контекстом в проекте Manus включают:
* проектирование вокруг KV-кэша;
* маскирование, а не удаление;
* использование файловой системы как контекста;
* управление вниманием через повторение;
* хранение неправильных данных;
* избегание использования малого количества примеров.
3. Почему важно избегать использования малого количества примеров в контексте ИИ-агентов?
Использование малого количества примеров (few-shot prompting) может привести к нежелательным результатам у агентов, вызывая подражание и неоптимальное, повторяющееся поведение. Когда контекст слишком однороден с похожими парами действий и наблюдений, агент может попасть в рутину, что приведёт к дрейфу или галлюцинациям. Поэтому важно вводить небольшие вариации в шаблоны сериализации, формулировки или форматирование в контексте, чтобы разрушить повторяющиеся шаблоны и предотвратить застревание модели в жёстком подражании прошлым действиям.
4. Как использование файловой системы в качестве контекста может улучшить работу ИИ-агентов?
Использование файловой системы в качестве контекста позволяет агентам учиться читать из файлов и записывать в них по требованию. Это обеспечивает неограниченный контекст и позволяет эффективно сокращать длину контекста без потери данных. Стратегии сжатия всегда разрабатываются таким образом, чтобы их можно было восстановить, что позволяет сохранить важную информацию для будущих шагов.
5. Какие проблемы могут возникнуть при работе с контекстом в ИИ-агентах и как проект Manus предлагает их решать?
При работе с контекстом в ИИ-агентах могут возникнуть проблемы, такие как потеря фокуса, забывание долгосрочных целей, ошибки и неадекватное поведение. Проект Manus предлагает решения этих проблем через повторение целей и прогресса в конце контекста, что помогает сосредоточить внимание модели на глобальном плане, а также через хранение неудачных действий и наблюдений в контексте, что позволяет модели учиться на своих ошибках и снижать вероятность их повторения.