Чат-бот ChatGPT, созданный на основе искусственного интеллекта, проявил способность к импровизации и допустил ошибки, аналогичные ошибкам ученика, при попытке решить 2400-летнюю математическую задачу.
Эксперимент
Два исследователя в области образования предложили чат-боту решить задачу «удвоения квадрата» — урок, описанный Платоном примерно в 385 году до н. э. Эта задача стала, возможно, одним из самых ранних документированных экспериментов в области математического образования.
Суть задачи заключается в том, чтобы научить ученика удваивать площадь квадрата. Платон описывает, как Сократ помогает необразованному мальчику понять, что стороны нового квадрата должны быть равны диагонали исходного квадрата.
Исследователи предложили эту задачу ChatGPT-4, сначала имитируя вопросы Сократа, а затем намеренно вводя ошибки, запросы и новые варианты задачи.
Результаты
ChatGPT, обученный на обширных коллекциях текста, генерирует ответы, предсказывая последовательности слов, выученные во время обучения. Исследователи ожидали, что ChatGPT решит задачу Платона, используя уже имеющиеся у него «знания» о знаменитом решении Сократа. Однако чат-бот, похоже, импровизировал свой подход и допустил характерную для человека ошибку.
Несмотря на то что ChatGPT продемонстрировал полное знание работы Платона, когда его об этом спросили, он не смог сразу воспроизвести классическое решение задачи.
Выводы исследователей
Исследователи подчёркивают, что LLM (большие языковые модели) не думают как люди и не «разрабатывают» решения так же, как люди. Однако поведение ChatGPT они охарактеризовали как «похожее на поведение учащегося».
Они также отмечают, что ChatGPT продемонстрировал способность к импровизации и адаптации своего подхода к решению задачи. Это может быть полезно для обучения, поскольку позволяет превратить ограничения ChatGPT в возможности для обучения.
Исследование опубликовано в Международном журнале математического образования в области науки и техники.
Исследование проведено доктором Надавом Марко, приглашённым учёным в Кембриджском университете, и Андреасом Стилианидесом, профессором математического образования в Кембридже.