Персонализированные рекомендации стали важным компонентом многих цифровых систем. Их цель — предложить контент, продукты или услуги, соответствующие предпочтениям пользователя. Процесс основан на анализе прошлого поведения, взаимодействий и закономерностей, чтобы предсказать, что пользователи могут посчитать релевантным.
Со временем методы рекомендаций перешли от базовой фильтрации к продвинутым моделям, основанным на понимании языка. Эти достижения позволяют системам предоставлять не только более точные рекомендации, но и те, которые адаптируются к меняющимся интересам пользователей, повышая вовлечённость и удовлетворённость.
Основная проблема в рекомендациях
Ключевая сложность в создании рекомендаций заключается в понимании тонких и динамичных предпочтений пользователей. Часто системы дают сбой, когда история пользователя неполная или появляются новые модели поведения, отличающиеся от предыдущих паттернов.
Простые методы поиска, основанные на сходстве, или методы, зависящие от давности взаимодействия, не учитывают долгосрочные интересы или изменения контекста. Поскольку потребности пользователей часто меняются, системы, которым не хватает семантического анализа, с трудом могут предоставить релевантные результаты. Это приводит к плохому опыту рекомендаций, когда контент кажется оторванным от того, что пользователь ищет в данный момент.
Существующие подходы
Некоторые широко используемые подходы, такие как ранжирование по давности, выбирают элементы на основе того, как недавно пользователь взаимодействовал с ними. Другие используют генерацию с дополнением поиска (RAG), которая выбирает контент на основе семантического сходства между историей пользователя и метаданными элементов.
Базовая система RAG применяет поиск на основе встраивания, но не включает глубокий анализ или понимание контекста между сессиями. Хотя эти системы извлекают технически релевантные элементы, они часто не могут отфильтровать и ранжировать их таким образом, чтобы точно отразить намерения пользователя, особенно в таких разнообразных областях, как одежда или электроника, где контекст имеет решающее значение.
ARAG: мультиагентная система RAG
Исследователи из Walmart Global Tech предложили новую мультиагентную систему под названием ARAG (Agentic Retrieval-Augmented Generation).
ARAG — это структурированное сотрудничество специализированных агентов, каждый из которых предназначен для выполнения определённой части процесса рекомендаций.
* Агент понимания пользователя (User Understanding Agent) для профилирования поведения пользователя.
* Агент естественного языкового вывода (Natural Language Inference Agent) для оценки соответствия текста элементов метаданных предполагаемым намерениям пользователя.
* Агент сводки контекста (Context Summary Agent) для обобщения релевантного контента.
* Агент ранжирования элементов (Item Ranker Agent), который формирует окончательный ранжированный список.
Каждый агент выполняет рассуждения, адаптированные к своей задаче, делая рекомендации более соответствующими историческому и сессионному контексту.
Рабочий процесс ARAG
Рабочий процесс ARAG начинается с извлечения широкого набора потенциальных элементов с использованием косинусного сходства в пространстве встраивания. Затем агент естественного языкового вывода оценивает, насколько хорошо текстовый метаданные каждого элемента соответствуют предполагаемому намерению пользователя. Элементы с более высокими баллами соответствия поступают агенту сводки контекста, который компилирует ключевую информацию для ранжирования.
Одновременно агент понимания пользователя генерирует сводку на основе прошлого и недавнего поведения пользователя. Эти сводки помогают агенту ранжирования элементов сортировать и приоритизировать элементы в порядке вероятной релевантности.
Весь процесс происходит в общем пространстве памяти, позволяя агентам рассуждать на основе выводов друг друга. Такая настройка поддерживает параллельную обработку, гарантируя, что конечный результат учитывает все аспекты намерений пользователя и контекста.
Результаты тестирования
При тестировании на наборе данных Amazon Review, охватывающем такие категории, как одежда, электроника и товары для дома, ARAG продемонстрировала последовательное и значительное улучшение.
В категории одежды ARAG достигла увеличения NDCG@5 на 42,12% и Hit@5 на 35,54% по сравнению с методами, основанными на давности. В электронике она улучшила NDCG@5 на 37,94% и Hit@5 на 30,87%. В категории товаров для дома также были отмечены значительные улучшения: NDCG@5 вырос на 25,60%, а Hit@5 — на 22,68%.
Эти метрики подчёркивают, насколько хорошо ARAG ранжирует релевантные элементы в верхней части списка. Исследование методом исключения подтвердило ценность каждого агента. Удаление агентов естественного языкового вывода и сводки контекста привело к снижению точности, что указывает на то, что модель агентского рассуждения повышает общую производительность.
Исследователи решили очевидную проблему в системах рекомендаций: неспособность глубоко понимать контекст пользователя. Их предложенное решение, основанное на сотрудничестве между специализированными агентами, демонстрирует значительные улучшения в точности и релевантности. Этот подход демонстрирует, как ориентированные на рассуждения фреймворки могут изменить системы рекомендаций, чтобы лучше соответствовать намерениям пользователя и контексту.
1. Какие проблемы существующих систем рекомендаций решает ARAG?
Ответ:
ARAG решает проблему неполного понимания контекста пользователя и его динамичных предпочтений. Простые методы поиска, основанные на давности взаимодействия или сходстве, не учитывают долгосрочные интересы или изменения контекста. ARAG использует сотрудничество специализированных агентов для более точного профилирования поведения пользователя и оценки соответствия контента его намерениям.
2. Какие агенты входят в состав мультиагентной системы ARAG и какие задачи они выполняют?
Ответ:
В состав мультиагентной системы ARAG входят следующие агенты:
* Агент понимания пользователя (User Understanding Agent) — профилирует поведение пользователя.
* Агент естественного языкового вывода (Natural Language Inference Agent) — оценивает соответствие текста элементов метаданных предполагаемым намерениям пользователя.
* Агент сводки контекста (Context Summary Agent) — обобщает релевантный контент.
* Агент ранжирования элементов (Item Ranker Agent) — формирует окончательный ранжированный список.
3. Какие результаты были получены при тестировании ARAG на наборе данных Amazon Review?
Ответ:
При тестировании на наборе данных Amazon Review, охватывающем такие категории, как одежда, электроника и товары для дома, ARAG продемонстрировала значительное улучшение по сравнению с методами, основанными на давности. В категории одежды ARAG достигла увеличения NDCG@5 на 42,12% и Hit@5 на 35,54%. В электронике она улучшила NDCG@5 на 37,94% и Hit@5 на 30,87%. В категории товаров для дома NDCG@5 вырос на 25,60%, а Hit@5 — на 22,68%.
4. Почему удаление агентов естественного языкового вывода и сводки контекста привело к снижению точности работы системы?
Ответ:
Удаление агентов естественного языкового вывода и сводки контекста привело к снижению точности работы системы, потому что каждый агент вносит свой вклад в общий процесс рекомендаций. Агент естественного языкового вывода оценивает соответствие элементов метаданных намерениям пользователя, а агент сводки контекста обобщает релевантный контент. Без этих агентов система теряет способность точно оценивать и ранжировать элементы, что снижает её точность и релевантность.
5. Какие выводы можно сделать из результатов тестирования ARAG?
Ответ:
Результаты тестирования ARAG показывают, что система демонстрирует значительные улучшения в точности и релевантности рекомендаций. Это подтверждает эффективность подхода, основанного на сотрудничестве между специализированными агентами, для решения проблем в системах рекомендаций.