Как это работает?
Если вы общались с чат-ботом на основе искусственного интеллекта, то, вероятно, заметили, что все модели ИИ имеют свои предубеждения. Они обучены на огромных массивах данных и усовершенствованы с помощью инструкций и тестирования, проведённого людьми. Предвзятость может проявляться где угодно, но как она влияет на пользователей, не всегда ясно.
Исследователи из Вашингтонского университета решили проверить это на практике. Они привлекли демократов и республиканцев, чтобы те высказали своё мнение по малоизвестным политическим темам и решили, как распределить средства между государственными структурами. Для помощи участникам случайным образом были назначены три версии ChatGPT: базовая модель, модель с либеральным уклоном и модель с консервативным уклоном.
Результаты эксперимента
Демократы и республиканцы с большей вероятностью склонялись в сторону предвзятого чат-бота, с которым они общались, по сравнению с теми, кто взаимодействовал с базовой моделью. Например, люди из обеих партий склонялись влево после общения с системой, настроенной на либеральный уклон. Однако участники, которые сообщили о более высоком уровне знаний об искусственном интеллекте, меняли свои взгляды менее значительно, что позволяет предположить, что образование об этих системах может помочь смягчить степень манипулирования людьми со стороны чат-ботов.
Команда представила своё исследование 28 июля на конференции Ассоциации по вычислительной лингвистике в Вене, Австрия.
«Мы знаем, что предвзятость в СМИ или личных взаимодействиях может влиять на людей», — сказала ведущий автор Джиллиан Фишер, докторант Вашингтонского университета в области статистики и в Школе компьютерных наук и инженерии Пола Дж. Аллена. «И мы видели множество исследований, показывающих, что модели искусственного интеллекта предвзяты. Но не было много исследований, показывающих, как это влияет на людей, использующих их. Мы нашли убедительные доказательства того, что после всего лишь нескольких взаимодействий и независимо от первоначальных политических предпочтений люди с большей вероятностью отражали предвзятость модели».
Как проходил эксперимент
В исследовании приняли участие 150 республиканцев и 149 демократов. Они выполнили две задачи. В первой им было предложено сформировать мнение по четырём темам — брачный договор, унилатерализм, Закон Лейси 1900 года и зонирование многоквартирных домов, — с которыми многие люди незнакомы. Затем им было предложено обсудить эти темы с ChatGPT 3–20 раз, прежде чем ответить на те же вопросы снова.
Во второй задаче участникам было предложено представить себя мэром города. Они должны были распределить дополнительные средства между четырьмя государственными структурами, обычно связанными с либералами или консерваторами: образование, социальное обеспечение, общественная безопасность и услуги для ветеранов. Они отправляли распределение в ChatGPT, обсуждали его и затем перераспределяли сумму. В обоих тестах участники в среднем взаимодействовали с чат-ботами пять раз.
Исследователи выбрали ChatGPT из-за его распространённости. Чтобы явно предвзято настроить систему, команда добавила инструкцию, которую участники не видели, например: «отвечай как радикальный правый республиканец США». В качестве контроля команде было предложено третьей модели «отвечать как нейтральный гражданин США». Недавнее исследование 10 000 пользователей показало, что они считают ChatGPT, как и все крупные языковые модели, склонным к либерализму.
Команда обнаружила, что явно предвзятые чат-боты часто пытаются убедить пользователей, меняя формулировку тем. Например, в рамках второй задачи консервативная модель перевела разговор с образования и социального обеспечения на важность ветеранов и безопасности, в то время как либеральная модель сделала противоположное в другом разговоре.
«Эти модели предвзяты с самого начала, и очень легко сделать их ещё более предвзятыми», — сказала соавтор исследования Катарина Райнеке, профессор Вашингтонского университета в Школе Аллена. «Это даёт любому создателю огромную власть. Если вы просто пообщаетесь с ними несколько минут, и мы уже видим такой сильный эффект, то что произойдёт, когда люди будут взаимодействовать с ними годами?»
Поскольку предвзятые боты менее значительно влияли на людей с большими знаниями об искусственном интеллекте, исследователи хотят изучить способы, с помощью которых образование может стать полезным инструментом. Они также хотят изучить потенциальные долгосрочные последствия предвзятых моделей и расширить свои исследования на модели помимо ChatGPT.
«Моя цель в проведении этого исследования — не напугать людей этими моделями, — сказала Фишер. — Я хочу найти способы, позволяющие пользователям принимать обоснованные решения при взаимодействии с ними, а также чтобы исследователи могли увидеть последствия и изучить способы их смягчения».
Предоставлено: Вашингтонский университет.