Исследования показали, что большие языковые модели (БЯМ) склонны уделять повышенное внимание информации в начале и конце документа или разговора, игнорируя середину. Это явление получило название «позиционная предвзятость».
Суть проблемы
Если юрист использует виртуального помощника на базе БЯМ для поиска определённой фразы в показаниях на 30 страницах, модель с большей вероятностью найдёт нужный текст, если он расположен на начальных или заключительных страницах.
Исследователи из Массачусетского технологического института (MIT) обнаружили механизм, стоящий за этим явлением. Они создали теоретическую основу для изучения того, как информация передаётся через архитектуру машинного обучения, лежащую в основе БЯМ.
Результаты экспериментов
Выяснилось, что определённые конструктивные решения, управляющие обработкой входных данных моделью, могут вызывать позиционную предвзятость. Эксперименты показали, что архитектурные особенности моделей, особенно влияющие на распространение информации между входными словами внутри модели, могут порождать или усиливать позиционную предвзятость. Вклад в проблему также вносят обучающие данные.
Перспективы
Разработанная исследователями теоретическая основа может быть использована для диагностики и коррекции позиционной предвзятости в будущих моделях. Это может привести к созданию более надёжных чат-ботов, которые остаются в теме во время длительных бесед, медицинских систем искусственного интеллекта, которые более справедливо обрабатывают массив данных о пациентах, и помощников по коду, которые уделяют внимание всем частям программы.
«Эти модели — чёрные ящики, поэтому как пользователь БЯМ вы, вероятно, не знаете, что позиционная предвзятость может привести к несогласованности вашей модели. Вы просто загружаете документы в любом порядке и ожидаете, что всё будет работать. Но, лучше понимая механизм работы этих моделей чёрного ящика, мы можем улучшить их, устранив эти ограничения», — говорит Синьи Ву, аспирант MIT и первый автор статьи, посвящённой этому исследованию.
Анализ внимания
БЯМ, такие как Claude, Llama и GPT-4, работают на основе архитектуры нейронных сетей, известной как трансформер. Трансформеры предназначены для обработки последовательных данных, кодируя предложение в блоки, называемые токенами, и затем изучая отношения между токенами, чтобы предсказать, какое слово будет следующим.
Эти модели стали очень хороши в этом благодаря механизму внимания, который использует взаимосвязанные слои узлов обработки данных, чтобы понять контекст, позволяя токенам выборочно фокусироваться на связанных токенах.
Однако если каждый токен может взаимодействовать с каждым другим токеном в 30-страничном документе, это быстро становится вычислительно неразрешимым. Поэтому, когда инженеры создают модели-трансформеры, они часто используют техники маскировки внимания, которые ограничивают количество слов, к которым может обращаться токен.
Например, причинная маска позволяет словам взаимодействовать только с теми, что были до них. Инженеры также используют позиционные кодировки, чтобы помочь модели понять расположение каждого слова в предложении, улучшая производительность.
Теоретическая основа
Исследователи из MIT создали графическую теоретическую основу для изучения того, как эти конструктивные решения, маски внимания и позиционные кодировки, могут влиять на позиционную предвзятость.
«Всё связано и запутано в механизме внимания, поэтому его очень сложно изучать. Графы — это гибкий язык для описания зависимых отношений между словами в механизме внимания и отслеживания их в нескольких слоях», — говорит Ву.
Их теоретический анализ показал, что причинная маскировка придаёт модели врождённую предвзятость к началу входных данных, даже когда такой предвзятости нет в данных. Если более ранние слова относительно несущественны для смысла предложения, причинная маскировка может привести к тому, что трансформер всё равно будет уделять больше внимания своему началу.
«Хотя часто верно, что более ранние и более поздние слова в предложении более важны, если БЯМ используется для задач, не связанных с генерацией естественного языка, таких как ранжирование или поиск информации, эти предвзятости могут быть чрезвычайно вредными», — говорит Ву.
Потерянное в середине
После того как исследователи создали теоретическую основу, они провели эксперименты, в которых систематически варьировали положение правильного ответа в текстовых последовательностях для задачи поиска информации.
Эксперименты показали феномен «потерянного в середине», где точность поиска следовала U-образному шаблону. Модели работали лучше всего, если правильный ответ был расположен в начале последовательности. Производительность снижалась по мере приближения к середине, прежде чем немного восстановиться, если правильный ответ был ближе к концу.
В конечном итоге их работа показывает, что использование другой техники маскировки, удаление дополнительных слоёв из механизма внимания или стратегическое использование позиционных кодировок может уменьшить позиционную предвзятость и повысить точность модели.
«Сочетая теорию и эксперименты, мы смогли рассмотреть последствия конструктивных решений модели, которые не были ясны в то время. Если вы хотите использовать модель в приложениях с высокими ставками, вы должны знать, когда она будет работать, когда нет и почему», — говорит Джадбабайе.
В будущем исследователи хотят более подробно изучить влияние позиционных кодировок и изучить, как позиционную предвзятость можно стратегически использовать в определённых приложениях.
«Эти исследователи предлагают редкий теоретический взгляд на механизм внимания, лежащий в основе модели-трансформера. Они предоставляют убедительный анализ, который проясняет давние особенности поведения трансформеров, показывая, что механизмы внимания, особенно с причинными масками, внутренне предвзято относятся к началу последовательностей», — говорит Амин Сабери, профессор и директор Центра проектирования вычислительных рынков Стэнфордского университета, который не участвовал в этой работе.
Это исследование частично поддержано Управлением военно-морских исследований США, Национальным научным фондом и профессорской стипендией Александра фон Гумбольдта.