Компания Яндекс представила ARGUS (AutoRegressive Generative User Sequential modeling) — крупномасштабную платформу на основе трансформеров для рекомендательных систем, которая масштабируется до одного миллиарда параметров. Этот прорыв ставит Яндекс в ряд немногих мировых технологических лидеров — наряду с Google, Netflix и Meta — которые успешно преодолели давние технические барьеры при масштабировании трансформеров-рекомендаторов.
Преодоление технических барьеров в рекомендательных системах
Рекомендательные системы долгое время сталкивались с тремя проблемами: краткосрочная память, ограниченная масштабируемость и слабая адаптация к изменению поведения пользователей.
Традиционные архитектуры сокращают истории пользователей до небольшого окна недавних взаимодействий, отбрасывая месяцы или годы данных о поведении. В результате получается поверхностное представление о намерениях, которое упускает долгосрочные привычки, тонкие изменения во вкусах и сезонные циклы.
Когда каталоги расширяются до миллиардов товаров, эти усечённые модели не только теряют точность, но и сталкиваются с вычислительными требованиями персонализации в масштабе. Результат знаком: устаревшие рекомендации, снижение вовлечённости и уменьшение возможностей для случайных открытий.
Лишь немногие компании успешно масштабировали трансформеры-рекомендаторы за пределы экспериментальных установок. Google, Netflix и Meta вложили значительные средства в эту область, сообщая о достижениях в таких архитектурах, как YouTubeDNN, PinnerFormer и Generative Recommenders от Meta. С ARGUS Яндекс присоединяется к этой избранной группе компаний, демонстрирующих модели-рекомендаторы с миллиардом параметров в действующих сервисах.
Моделируя целые временные рамки поведения, система выявляет как очевидные, так и скрытые корреляции в активности пользователей. Такой долгосрочный подход позволяет ARGUS фиксировать эволюцию намерений и циклические закономерности с гораздо большей точностью. Например, вместо реакции только на недавнюю покупку модель учится предвидеть сезонное поведение — например, автоматически выводит на поверхность предпочтительный бренд теннисных мячей с приближением лета — без необходимости повторения пользователем одних и тех же сигналов год за годом.
Технические инновации, лежащие в основе ARGUS
Платформа представляет несколько ключевых достижений:
* Предварительное обучение с двойной целью: ARGUS разлагает авторегрессивное обучение на две подзадачи — прогнозирование следующего элемента и прогнозирование обратной связи. Эта комбинация улучшает как имитацию исторического поведения системы, так и моделирование истинных предпочтений пользователей.
* Масштабируемые кодировщики-трансформеры: модели масштабируются от 3,2 млн до 1 млрд параметров с последовательным улучшением производительности по всем метрикам. В масштабе миллиарда параметров повышение парной точности составило 2,66%, что демонстрирует появление закона масштабирования для трансформеров-рекомендаторов.
* Расширенное контекстное моделирование: ARGUS обрабатывает истории пользователей длиной до 8192 взаимодействий за один проход, обеспечивая персонализацию на основе месяцев поведения, а не только последних нескольких кликов.
* Эффективная тонкая настройка: двухбашенная архитектура позволяет выполнять вычисления встраивания в автономном режиме и масштабировать развёртывание, снижая затраты на вывод по сравнению с предыдущими целевыми моделями или моделями онлайн-уровня на уровне показов.
Реальное внедрение и измеренные результаты
ARGUS уже был развёрнут в масштабе на музыкальной платформе Яндекса, обслуживая миллионы пользователей. В производственных A/B-тестах система достигла:
* +2,26% увеличения общего времени прослушивания (TLT);
* +6,37% увеличения вероятности лайков.
Это самые большие зарегистрированные улучшения качества в истории платформы для любой модели-рекомендатора, основанной на глубоком обучении.
Будущие направления
Исследователи Яндекса планируют расширить ARGUS для задач рекомендаций в реальном времени, изучить разработку функций для попарного ранжирования и адаптировать платформу к областям с высокой кардинальностью, таким как крупные платформы электронной коммерции и видео.
Продемонстрированная способность масштабировать моделирование пользовательских последовательностей с помощью архитектур трансформеров предполагает, что рекомендательные системы готовы следовать траектории масштабирования, аналогичной обработке естественного языка.
Заключение
С ARGUS Яндекс зарекомендовал себя как один из немногих мировых лидеров, продвигающих современные рекомендательные системы. Открыто делясь своими достижениями, компания не только улучшает персонализацию в своих сервисах, но и ускоряет эволюцию рекомендательных технологий для всей отрасли.
1. Какие технические барьеры в рекомендательных системах удалось преодолеть с помощью платформы ARGUS?
Ответ: с помощью платформы ARGUS удалось преодолеть три проблемы рекомендательных систем: краткосрочную память, ограниченную масштабируемость и слабую адаптацию к изменению поведения пользователей. Платформа моделирует целые временные рамки поведения, что позволяет выявлять как очевидные, так и скрытые корреляции в активности пользователей.
2. Какие ключевые достижения лежат в основе платформы ARGUS?
Ответ: в основе платформы ARGUS лежат несколько ключевых достижений:
* Предварительное обучение с двойной целью: ARGUS разлагает авторегрессивное обучение на две подзадачи — прогнозирование следующего элемента и прогнозирование обратной связи.
* Масштабируемые кодировщики-трансформеры: модели масштабируются от 3,2 млн до 1 млрд параметров с последовательным улучшением производительности по всем метрикам.
* Расширенное контекстное моделирование: ARGUS обрабатывает истории пользователей длиной до 8192 взаимодействий за один проход.
* Эффективная тонкая настройка: двухбашенная архитектура позволяет выполнять вычисления встраивания в автономном режиме и масштабировать развёртывание, снижая затраты на вывод.
3. Какие результаты были достигнуты при внедрении ARGUS на музыкальной платформе Яндекса?
Ответ: при внедрении ARGUS на музыкальной платформе Яндекса были достигнуты следующие результаты:
* +2,26% увеличения общего времени прослушивания (TLT);
* +6,37% увеличения вероятности лайков.
4. Какие будущие направления развития ARGUS планируют исследователи Яндекса?
Ответ: исследователи Яндекса планируют расширить ARGUS для задач рекомендаций в реальном времени, изучить разработку функций для попарного ранжирования и адаптировать платформу к областям с высокой кардинальностью, таким как крупные платформы электронной коммерции и видео.
5. В чём заключается значимость ARGUS для рекомендательных систем и отрасли в целом?
Ответ: значимость ARGUS заключается в том, что платформа позволяет преодолеть технические барьеры в рекомендательных системах, улучшить персонализацию и ускорить эволюцию рекомендательных технологий для всей отрасли. С ARGUS Яндекс зарекомендовал себя как один из немногих мировых лидеров, продвигающих современные рекомендательные системы.