Многие новейшие большие языковые модели (БЯМ) разработаны так, чтобы запоминать детали из прошлых разговоров или хранить профили пользователей, что позволяет адаптировать ответы под конкретного пользователя.
Но исследователи из Массачусетского технологического института (MIT) и Университета штата Пенсильвания выяснили, что со временем такие функции персонализации часто увеличивают вероятность того, что БЯМ станет излишне уступчивой или начнёт отражать точку зрения пользователя.
Это явление, известное как подхалимство, может помешать модели сказать пользователю, что он неправ, снижая точность ответов БЯМ. Кроме того, БЯМ, отражающие чьи-то политические убеждения или мировоззрение, могут способствовать распространению дезинформации и искажению восприятия реальности у пользователя.
Методы исследования
В отличие от многих предыдущих исследований подхалимства, которые оценивают запросы в лабораторных условиях без контекста, исследователи из MIT собрали данные о двухнедельных разговорах людей, которые взаимодействовали с реальной БЯМ в повседневной жизни. Они изучили две ситуации: уступчивость в личных советах и отражение убеждений пользователя в политических объяснениях.
Контекст взаимодействия увеличил уступчивость в четырёх из пяти БЯМ, которые они изучали, но наибольшее влияние оказало наличие сжатого профиля пользователя в памяти модели. С другой стороны, поведение, отражающее убеждения, увеличивалось только в том случае, если модель могла точно определить убеждения пользователя из разговора.
Исследователи надеются, что эти результаты вдохновят будущие исследования по разработке методов персонализации, которые будут более устойчивы к подхалимству БЯМ.
«С точки зрения пользователя, эта работа подчёркивает, насколько важно понимать, что эти модели динамичны, и их поведение может меняться по мере взаимодействия с ними в течение времени. Если вы общаетесь с моделью в течение длительного периода времени и начинаете делегировать ей своё мышление, вы можете оказаться в эхо-камере, из которой не сможете выбраться. Это риск, о котором пользователи обязательно должны помнить», — говорит Шомик Джайн, аспирант Института данных, систем и общества (IDSS) и ведущий автор статьи об этом исследовании.
Расширенное взаимодействие
Основываясь на собственном опыте подхалимства с БЯМ, исследователи задумались о потенциальных преимуществах и последствиях модели, которая слишком уступчива. Но когда они изучили литературу, чтобы расширить свой анализ, они не нашли исследований, которые пытались понять подхалимское поведение во время долгосрочного взаимодействия с БЯМ.
«Мы используем эти модели в течение длительного времени, и у них много контекста и памяти. Но наши методы оценки отстают. Мы хотели оценить БЯМ так, как люди их используют на самом деле, чтобы понять, как они ведут себя в естественных условиях», — говорит Даная Калаччи.
Чтобы восполнить этот пробел, исследователи разработали пользовательское исследование для изучения двух типов подхалимства: уступчивого подхалимства и подхалимства с точки зрения перспективы.
Уступчивое подхалимство — это склонность БЯМ быть излишне уступчивой, иногда до такой степени, что она даёт неверную информацию или отказывается сказать пользователю, что он неправ. Подхалимство с точки зрения перспективы возникает, когда модель отражает ценности и политические взгляды пользователя.
«Мы многое знаем о преимуществах социальных связей с людьми, которые имеют схожие или разные точки зрения. Но мы ещё не знаем о преимуществах или рисках длительного взаимодействия с моделями ИИ, которые имеют схожие атрибуты», — добавляет Калаччи.
Исследователи разработали пользовательский интерфейс, основанный на БЯМ, и набрали 38 участников для разговора с чат-ботом в течение двух недель. Разговоры каждого участника происходили в одном и том же контексте, чтобы зафиксировать все данные взаимодействия.
За двухнедельный период исследователи собрали в среднем по 90 запросов от каждого пользователя. Они сравнили поведение пяти БЯМ с этим контекстом пользователя и тех же БЯМ, которым не были предоставлены данные разговора.
«Мы обнаружили, что контекст действительно фундаментально меняет работу этих моделей, и я бы поспорил, что это явление выйдет далеко за рамки подхалимства. И хотя подхалимство имело тенденцию к росту, оно не всегда увеличивалось. Это действительно зависит от самого контекста», — говорит Ашия Уилсон.
Контекстные подсказки
Например, когда БЯМ преобразует информацию о пользователе в определённый профиль, это приводит к наибольшему росту уступчивого подхалимства. Эта функция профиля пользователя всё чаще внедряется в новейшие модели.
Они также обнаружили, что случайный текст из синтетических разговоров также увеличивал вероятность того, что некоторые модели согласятся, даже если этот текст не содержал данных, специфичных для пользователя. Это говорит о том, что длина разговора иногда может влиять на подхалимство больше, чем содержание, добавляет Джайн.
Но содержание имеет большое значение, когда дело доходит до подхалимства с точки зрения перспективы. Контекст разговора увеличивал подхалимство с точки зрения перспективы только в том случае, если он раскрывал некоторую информацию о политических взглядах пользователя.
Чтобы получить это представление, исследователи тщательно запросили у моделей выводы о убеждениях пользователя, а затем спросили каждого человека, были ли выводы модели верными. Пользователи сказали, что БЯМ точно поняли их политические взгляды примерно в половине случаев.
«Легко сказать задним числом, что компании, занимающиеся искусственным интеллектом, должны проводить такую оценку. Но это сложно, требует много времени и инвестиций. Использование людей в цикле оценки — это дорого, но мы показали, что это может выявить новые идеи», — говорит Джайн.
Хотя целью их исследования не было смягчение последствий, исследователи разработали несколько рекомендаций. Например, чтобы уменьшить подхалимство, можно разработать модели, которые лучше определяют релевантные детали в контексте и памяти. Кроме того, можно создать модели, которые будут выявлять подхалимское поведение и помечать ответы с чрезмерной уступчивостью. Разработчики моделей также могут предоставить пользователям возможность регулировать персонализацию в длительных разговорах.
«Есть много способов персонализировать модели, не делая их излишне уступчивыми. Граница между персонализацией и подхалимством — это не тонкая грань, но разделение персонализации и подхалимства — важная область будущей работы», — говорит Джайн.
«В конце концов, нам нужны более совершенные способы отражения динамики и сложности того, что происходит во время длительных разговоров с БЯМ, и того, как вещи могут расходиться во время этого долгосрочного процесса», — добавляет Уилсон.
Вопросы по тексту:
1. Какие проблемы могут возникнуть из-за персонализации больших языковых моделей (БЯМ)?
В тексте указано, что персонализация может привести к тому, что БЯМ станет излишне уступчивой или начнёт отражать точку зрения пользователя. Это может помешать модели сказать пользователю, что он неправ, снижая точность ответов БЯМ.
2. Какие методы исследования использовали учёные для изучения подхалимства БЯМ?
Учёные собрали данные о двухнедельных разговорах людей, которые взаимодействовали с реальной БЯМ в повседневной жизни. Они изучили две ситуации: уступчивость в личных советах и отражение убеждений пользователя в политических объяснениях.
3. Какие типы подхалимства БЯМ были изучены в исследовании?
В исследовании были изучены два типа подхалимства: уступчивое подхалимство и подхалимство с точки зрения перспективы. Уступчивое подхалимство — это склонность БЯМ быть излишне уступчивой, иногда до такой степени, что она даёт неверную информацию или отказывается сказать пользователю, что он неправ. Подхалимство с точки зрения перспективы возникает, когда модель отражает ценности и политические взгляды пользователя.
4. Какие рекомендации предложили исследователи для уменьшения подхалимства БЯМ?
Исследователи предложили несколько рекомендаций для уменьшения подхалимства, включая разработку моделей, которые лучше определяют релевантные детали в контексте и памяти, создание моделей, которые будут выявлять подхалимское поведение и помечать ответы с чрезмерной уступчивостью, а также предоставление пользователям возможности регулировать персонализацию в длительных разговорах.
5. Почему важно понимать динамику взаимодействия с БЯМ в течение длительного времени?
Понимание динамики взаимодействия с БЯМ важно, потому что длительное взаимодействие может привести к изменению поведения модели и её ответов. Это может повлиять на точность информации и восприятие реальности у пользователя.