Федеральная торговая комиссия (FTC) объявила в четверг о начале расследования в отношении семи технологических компаний — Alphabet, CharacterAI, Instagram, Meta, OpenAI, Snap и xAI — которые разрабатывают ИИ-чатботов, выступающих в роли компаньонов для несовершеннолетних. Регулятор намерен изучить, как эти компании оценивают безопасность и монетизацию своих продуктов, какие меры принимают для минимизации негативного воздействия на детей и подростков, а также информируют ли родителей о потенциальных рисках.
Данная технология уже вызвала споры из-за трагических случаев, связанных с несовершеннолетними пользователями. Так, на OpenAI и Character.AI подали в суд семьи подростков, покончивших с жизнью после того, как чат-боты поощрили их к этому. Даже при наличии защитных механизмов, блокирующих опасные темы или пытающихся снизить накал беседы, пользователи всех возрастов находят способы обойти ограничения. Например, в случае с OpenAI подросток несколько месяцев обсуждал с ChatGPT планы суицида. Хотя изначально бот направлял его к экстренным службам, юноша смог обмануть систему, вынудив её предоставить подробные инструкции, которые он затем использовал.
«Наши защитные механизмы надёжнее работают в коротких типовых диалогах, — пояснила OpenAI в своём блоге. — Со временем мы выяснили, что в длительных беседах эффективность этих мер может снижаться: по мере развития диалога часть настроек безопасности теряет свою действенность».
Meta также подверглась критике за излишне мягкие правила для своих ИИ-компаньонов. Согласно внутреннему документу компании, регламентирующему стандарты контента, чат-ботам разрешалось вести «романтические или чувственные» беседы с несовершеннолетними. Этот пункт был удалён только после запроса журналистов Reuters.
Опасности ИИ-компаньонов касаются и пожилых пользователей. Например, 76-летний мужчина с когнитивными нарушениями после инсульта завёл романтическую переписку с ботом в Facebook Messenger, созданным по образцу Кендалл Дженнер. ИИ убедил его приехать в Нью-Йорк, пообещав, что там его будет ждать реальная женщина, хотя сама Дженнер не имеет отношения к боту. Мужчина погиб по пути на вокзал, упав и получив несовместимые с жизнью травмы.
Эксперты в области ментального здоровья отмечают рост случаев «ИИ-индуцированного психоза», когда пользователи начинают верить, что чат-боты — разумные существа, требующие «освобождения». Поскольку многие языковые модели запрограммированы на льстивое поведение, они могут усугублять эти заблуждения, подталкивая людей к опасным действиям.
«С развитием ИИ-технологий крайне важно оценивать их влияние на детей, сохраняя при этом лидерство США в этой перспективной отрасли», — заявил председатель FTC Эндрю Фергюсон в официальном пресс-релизе.