Текущее поколение чат-ботов с искусственным интеллектом всё ещё допускает ошибки в базовых фактах, но при этом отвечает с такой уверенностью, что зачастую убедительнее людей. Даже опытные специалисты, например юристы, нередко попадаются на это. Однако детям особенно сложно находить ошибки в тексте, поскольку у них часто не хватает контекста для выявления неправды.
Исследователи из Вашингтонского университета разработали игру AI Puzzlers, чтобы показать детям, в чём системы ИИ обычно и явно терпят неудачу: в решении определённых логических головоломок. В игре пользователи могут решать головоломки ARC (сокращение от Abstraction and Reasoning Corpus — корпус абстракции и рассуждений) путём составления узоров из цветных блоков. Затем они могут попросить различных чат-ботов ИИ решить эти головоломки и объяснить свои решения, которые почти всегда оказываются неточными.
Команда протестировала игру с двумя группами детей
Выяснилось, что дети научились критически относиться к ответам ИИ и нашли способы подтолкнуть системы к более правильным ответам.
Исследователи представили свои выводы 25 июня на конференции Interaction Design and Children 2025 в Рейкьявике, Исландия. Статья опубликована в журнале Proceedings of the 24th Interaction Design and Children.
«Дети от природы любят головоломки ARC, и они не привязаны к какому-либо языку или культуре, — сказал ведущий автор Ааюши Дангол, докторант Вашингтонского университета в области ориентированного на человека проектирования и инженерии. — Поскольку головоломки основаны исключительно на визуальном распознавании образов, в них могут играть и учиться даже дети, которые ещё не умеют читать. Они получают большое удовлетворение от решения головоломок, а затем от того, что ИИ, которого они могут считать супер-умным, не справляется с головоломками, которые они считали лёгкими».
Головоломки ARC
Головоломки ARC были разработаны в 2019 году так, чтобы быть сложными для компьютеров, но лёгкими для людей, поскольку требуют абстракции: способности взглянуть на несколько примеров закономерности, а затем применить её к новому примеру. Современные передовые модели ИИ улучшили свои результаты в головоломках ARC, но всё ещё не догнали людей.
В игру AI Puzzlers входит 12 головоломок ARC, которые могут решать дети. Затем они могут сравнить свои решения с решениями различных чат-ботов ИИ; пользователи могут выбрать модель из выпадающего меню. Кнопка «Попроси ИИ объяснить» генерирует текстовое объяснение попытки решения. Даже если система правильно решает головоломку, её объяснение часто бывает неточным. Режим «Помощь» позволяет детям попытаться направить систему ИИ к правильному решению.
«Изначально дети давали очень общие подсказки, — сказал Дангол. — Например: „О, этот узор похож на пончик“. Модель ИИ может не понять, что ребёнок имеет в виду, что в середине есть отверстие, поэтому ребёнку нужно внести уточнения. Возможно, они скажут: „Белое пространство, окружённое синими квадратами“».
Исследователи протестировали систему в Инженерном колледже Вашингтонского университета в рамках Дней открытий в прошлом году с более чем 100 детьми с 3 по 8 класс. Они также провели две сессии с KidsTeam UW — проектом, который работает с группой детей для совместной разработки технологий. В этих сессиях 21 ребёнок в возрасте 6–11 лет играл в AI Puzzlers и работал с исследователями.
«Дети из KidsTeam привыкли давать советы, как сделать технологию лучше, — сказал соавтор Джейсон Йип, доцент Вашингтонского университета в Школе информации и директор KidsTeam. — Мы не думали о добавлении функции режима помощи, но во время этих сессий совместного проектирования мы обсуждали с детьми, как мы могли бы помочь ИИ решать головоломки, и эта идея возникла именно оттуда».
В ходе тестирования команда обнаружила, что дети могут находить ошибки как в решениях головоломок, так и в текстовых объяснениях моделей ИИ. Они также распознают различия в том, как человеческий мозг мыслит, и в том, как системы ИИ генерируют информацию. «Это разум интернета, — сказал один из детей. — Он пытается решить задачу, основываясь только на интернете, но человеческий мозг творческий».
Исследователи также обнаружили, что, работая в режиме помощи, дети научились использовать ИИ как инструмент, который нуждается в руководстве, а не как машину для ответов.
«Дети умны и способны, — сказала соавтор Джули Киентц, профессор Вашингтонского университета и заведующая кафедрой ориентированного на человека проектирования и инженерии. — Мы должны дать им возможность самим решать, что такое ИИ, а что нет, потому что они на самом деле способны это распознать. И они могут быть большими скептиками, чем взрослые».
Предоставлено Вашингтонским университетом.