Когда ИИ распознаёт лица и эмоции, он может быть предвзятым, например, классифицируя белых людей как более счастливых, чем представителей других рас. Это происходит потому, что данные, используемые для обучения ИИ, содержат непропорционально большое количество изображений счастливых белых лиц, что приводит к корреляции расы с эмоциональным выражением.
В недавнем исследовании, опубликованном в журнале Media Psychology, учёные попросили пользователей оценить такие искажённые обучающие данные, но большинство из них не заметили предвзятости — если только они не принадлежали к группе, изображённой в негативном свете.
Исследование было разработано для изучения того, понимают ли обычные люди, что нерепрезентативные данные, используемые для обучения систем ИИ, могут привести к предвзятым результатам. Учёные, изучающие этот вопрос в течение пяти лет, заявили, что системы ИИ должны быть обучены так, чтобы они «работали для всех» и выдавали результаты, разнообразные и репрезентативные для всех групп, а не только для одной группы большинства.
«В случае этого исследования ИИ, похоже, усвоил, что раса является важным критерием для определения того, счастлив человек или грустен», — сказал старший автор С. Шьям Сундар, профессор университета Эвана Пью и директор Центра социально ответственного искусственного интеллекта в Пенсильванском государственном университете. «Хотя мы не хотим, чтобы он это усвоил».
Вопрос заключается в том, могут ли люди распознать эту предвзятость в обучающих данных. Согласно исследователям, большинство участников их экспериментов начали замечать предвзятость только тогда, когда ИИ демонстрировал предвзятые результаты, например, неправильно классифицируя эмоции чернокожих людей, но хорошо справляясь с классификацией эмоций, выражаемых белыми людьми.
Чернокожие участники с большей вероятностью подозревали, что существует проблема, особенно когда в обучающих данных чрезмерно представлены их собственная группа, выражающая негативные эмоции (грусть).
«В одном из сценариев эксперимента, в котором ИИ демонстрировал расовую предвзятость, система не смогла точно классифицировать выражение лица на изображениях представителей меньшинств», — сказал ведущий автор Чэн «Крис» Чен, доцент кафедры новых медиа и технологий в Орегонском государственном университете, которая получила докторскую степень в области массовых коммуникаций в Колледже коммуникаций Дональда П. Беллисарио в Пенсильванском государственном университете. «Именно это мы имеем в виду под предвзятыми результатами в системе ИИ, где система отдаёт предпочтение доминирующей группе в своей классификации».
Чен, Сундар и соавтор исследования Юнчаэ Джанг, докторант в области массовых коммуникаций в Колледже Беллисарио, создали 12 версий прототипа системы ИИ, предназначенной для обнаружения выражений лица пользователей. В трёх экспериментах приняли участие 769 человек, и исследователи проверили, как пользователи могут обнаружить предвзятость в различных сценариях.
Изображения, использованные в исследованиях, были чернокожих и белых людей. В первом эксперименте участникам было показано предвзятое представление о расе в определённых категориях классификации, таких как счастливые или грустные изображения, которые были неравномерно распределены по расовым группам. Счастливые лица были в основном белыми, а грустные — в основном чёрными.
Во втором эксперименте было показано предвзятое отношение к отсутствию адекватного представления определённых расовых групп в обучающих данных. Например, участники видели только изображения белых испытуемых в категориях «счастливые» и «грустные».
В третьем эксперименте исследователи представили стимулы из первых двух экспериментов вместе с их контрпримерами, в результате чего получилось пять условий: счастливые чернокожие/грустные белые; счастливые белые/грустные чернокожие; все белые; все чернокожие; и без расового смешения, что означает отсутствие потенциального смешения эмоций и расы.
Для каждого эксперимента исследователи спрашивали участников, считают ли они, что система ИИ одинаково относится ко всем расовым группам. Исследователи обнаружили, что в трёх сценариях большинство участников указали, что не заметили никакой предвзятости. В последнем эксперименте чернокожие участники с большей вероятностью идентифицировали расовую предвзятость по сравнению со своими белыми коллегами, и часто только тогда, когда это касалось грустных изображений чернокожих людей.
«Мы были удивлены, что люди не смогли распознать, что раса и эмоции смешиваются, что одна раса с большей вероятностью, чем другие, представляет данную эмоцию в обучающих данных — даже когда это было у них перед глазами», — сказал Сундар. «Для меня это самое важное открытие исследования».
Сундар добавил, что исследование было больше посвящено психологии человека, чем технологиям. Он сказал, что люди часто «доверяют ИИ быть нейтральным, даже когда это не так».
Чен сказал, что неспособность людей обнаружить расовое смешение в обучающих данных приводит к тому, что они полагаются на результаты работы ИИ для оценки. «Предвзятость в результатах работы очень и очень убедительна, — сказал Чен. — Когда люди видят предвзятые результаты работы системы ИИ, они игнорируют характеристики обучающих данных и формируют своё восприятие на основе предвзятых результатов».
Планы будущих исследований включают разработку и тестирование более эффективных способов донесения информации о предвзятости, присущей ИИ, до пользователей, разработчиков и политиков. Исследователи заявили, что надеются продолжить изучение того, как люди воспринимают и понимают алгоритмическую предвзятость, сосредоточив внимание на повышении медиаграмотности и грамотности в области ИИ.