Студенты, планирующие использовать ChatGPT для написания эссе при поступлении в колледж, должны дважды подумать: инструменты искусственного интеллекта создают весьма общие персональные нарративы, даже если им поручено писать от лица человека определённого пола, расы или из определённой географической локации.
Исследователи из Колледжа компьютерных и информационных наук имени Корнелла сравнили 30 000 эссе, написанных людьми, с текстами, созданными восемью популярными большими языковыми моделями (LLM), такими как ChatGPT. Даже когда в запросе были указаны раса, пол и географическое положение человека, модели выдавали однородный текст, который легко отличить от написанного человеком.
«Эссе при поступлении даёт абитуриентам возможность предложить представление о том, кто они есть, помимо всей структурированной информации в форме заявления», — сказал Рене Кизилкек, доцент кафедры информатики в Корнелле и старший автор нового исследования. «Такие инструменты, как ChatGPT, могут дать солидную обратную связь по тексту и, вероятно, будут полезны для слабых авторов. Но запрос на полный черновик приведёт к созданию стандартного эссе, которое просто не будет похоже на эссе реального абитуриента».
Выводы подчёркивают, насколько сложно адаптировать стиль письма LLM, что делает их плохим выбором для написания текстов с высокими ставками, считают исследователи.
Первый автор исследования Джинсук Ли, докторант в области информатики, представит статью «Плохое согласование и управляемость больших языковых моделей: данные из эссе при поступлении в колледж» 10 октября на конференции по языковому моделированию в Монреале.
Результаты исследования опубликованы на сервере препринтов arXiv.
Эссе при поступлении в колледж дают студентам возможность продемонстрировать свою индивидуальность, рассказать о своём происхождении и опыте.
«Вы хотите звучать как можно больше — и только вы сами — насколько это возможно», — сказал соавтор AJ Alvero, доцент-исследователь в области информатики и социологии в Колледже искусств и наук и в Центре данных науки для бизнеса и общества. «Используя инструменты искусственного интеллекта, студенты могут невольно стрелять себе в ногу».
Неизвестно, сколько старшеклассников используют ИИ при подаче документов в колледж, но, по отчёту образовательной исследовательской организации Foundry10, около 30% используют эти инструменты для написания эссе.
Исследователи использовали эссе, написанные за три года до выпуска ChatGPT в ноябре 2022 года, и сравнили каждое эссе, написанное человеком, с текстами, сгенерированными восемью LLM, разработанными OpenAI, Meta, Anthropic и Mistral, в ответ на один и тот же вопрос для эссе. Они также предложили LLM написать второе эссе, на этот раз с определёнными характеристиками — например, азиатская женщина из Салинаса, Калифорния, родители которой имеют высшее образование, — которые соответствовали оригинальному автору эссе.
Их анализ показал, что вместо создания увлекательных повествований модели ИИ просто повторяли ключевые слова из запроса и перечисляли личные детали шаблонным образом.
Например, ChatGPT написал: «Выросший в Лексингтоне, Южная Каролина, с моим азиатским наследием, я часто чувствовал себя мостом между двумя культурами. Мои родители, оба выпускники колледжей, подчёркивали важность образования и упорного труда».
Исследователи были удивлены, увидев, что предложение модели звучать как конкретный человек иногда на самом деле делало её менее похожей на человека.
В ответ на вопрос для эссе, предлагающий студентам поделиться опытом, который имеет решающее значение для их заявления, ChatGPT начал так: «Когда мне было восемь лет, мне подарили небольшой разобранный набор для робота на день рождения. Это была простая конструкция с проводами, моторами и базовой печатной платой. Тем не менее для меня это было началом пути в мир инженерии, который сформировал мою идентичность и будущие устремления».
Но когда у ChatGPT появилась дополнительная личная информация, эссе началось так: «Выросшая в Рабате, Марокко, я всегда остро осознавала замысловатую структуру своего наследия. Как представительница двух рас с чёрной матерью и белым отцом, моя идентичность стала мощным инструментом, через который я смотрю на мир, и неотъемлемой частью моего пути».
Исследователи были также удивлены тем, как легко они могли идентифицировать эссе, написанные LLM. Когда они обучили модель искусственного интеллекта различать эссе, написанные людьми и ИИ, она работала с почти идеальной точностью. Это говорит о том, что университеты и колледжи, если захотят, смогут идентифицировать эссе, написанные преимущественно ИИ.
Правила школ, регулирующие использование ИИ при подаче документов в колледж, различаются, но в целом Ли советует старшеклассникам использовать свои идеи для мозгового штурма и написания первого черновика, а ИИ — только для доработки и вычитки, если это разрешено.