Анализ почти 5 тысяч студенческих отчётов, проведённый под руководством Университета Варвика, показывает, что с момента появления ChatGPT в конце 2022 года студенческие работы стали более отточенными и формальными, но оценки остались стабильными.
Основные выводы исследования, опубликованного в журнале «Computers and Education: Artificial Intelligence»:
- Язык студенческих работ стал более сложным, формальным и позитивным с 2022 года, что совпадает с широким распространением генеративных моделей искусственного интеллекта (GenAI).
- Инструменты GenAI, такие как ChatGPT и Copilot, широко используются в высшем образовании: недавний опрос показал, что до 88% студентов используют ChatGPT для выполнения заданий.
- Анализ 4 820 отчётов, содержащих 17 миллионов слов, является одним из крупнейших в своём роде. Эксперимент не оценивает индивидуальное использование студентами ИИ, а исследует эволюцию письма на уровне группы в период быстрых технологических изменений.
Результаты исследования
- С 2022 года общий настрой студенческих работ стал более позитивным, независимо от содержания отчётов. Это соответствует тенденциям, хорошо документированным во многих системах GenAI, которые предназначены для создания вежливых и конструктивных ответов.
- Доктор Мэтью Мэк, доцент кафедры психологии Университета Варвика и первый автор исследования, отметил, что тон студенческих работ стал более позитивным, что соответствует выводам ChatGPT. Он подчеркнул, что это не является ни хорошим, ни плохим явлением, но вызывает опасения относительно возможности гомогенизации голосов студентов с помощью инструментов ИИ.
- Также были выявлены значительные изменения в формальности и диапазоне лексики после запуска ChatGPT. Эти стилистические особенности обычно появляются после многих лет писательского опыта, что делает маловероятным естественное развитие письменных способностей студентов.
Дополнительные наблюдения
- Некоторые слова, часто ассоциируемые с текстом, сгенерированным ИИ, такие как «delve» (углубляться) и «intricate» (замысловатый), резко возросли в использовании до 2024 года, а затем резко упали в 2025 году, что позволяет предположить, что студенты, возможно, смягчили своё использование ИИ для того, чтобы их тексты меньше напоминали сгенерированные ИИ.
- Чтобы лучше понять эти тенденции, исследователи попросили ChatGPT переписать отчёты, представленные до запуска ChatGPT в 2022 году. Переписанные отчёты продемонстрировали аналогичные сдвиги в тоне и стиле, что и отчёты, представленные после запуска ChatGPT, что свидетельствует о влиянии взаимодействия студентов с инструментами GenAI на наблюдаемые изменения на уровне группы.
Важные замечания
- Несмотря на стилистические сдвиги, не произошло соответствующих изменений в оценках или отзывах экзаменаторов. Это может свидетельствовать о том, что основные академические навыки, такие как критическое мышление, интерпретация и аргументация, остаются центральными в оценке и пока не были затмены изменениями в поверхностном стиле, вызванными ChatGPT.
- Результаты исследования открывают возможности для учебных заведений переосмыслить дизайн оценки, политику в отношении ИИ и поддержать студентов в развитии сильных, аутентичных письменных навыков в мире, насыщенном ИИ.