Менее чем за три года технологии искусственного интеллекта радикально изменили ландшафт оценки знаний. Университеты выбрали разные подходы: от полного запрета использования генеративных ИИ до разрешения их применения в определённых ситуациях и использования ИИ по умолчанию.
Однако некоторые преподаватели и студенты сообщают, что они по-прежнему в замешательстве и тревоге, не зная, что считать «надлежащим использованием» ИИ. Это сопровождается опасениями, что ИИ способствует росту числа случаев мошенничества.
Возникает более широкий вопрос о ценности университетских дипломов сегодня, если ИИ используется при оценке студентов.
В новой журнальной статье мы рассматриваем текущие подходы к ИИ и оценке и задаёмся вопросом: как университеты должны оценивать студентов в эпоху ИИ?
Университеты реагируют на появление генеративного ИИ с помощью различных политик, направленных на разъяснение того, что разрешено, а что нет.
Например, в Великобритании Университет Лидса установил систему «светофора», определяющую, когда можно использовать инструменты ИИ при оценке:
* красный означает запрет на использование ИИ;
* оранжевый разрешает ограниченное использование;
* зелёный поощряет его использование.
Для того чтобы помочь студентам соблюдать эти правила, многие учебные заведения, такие как Университет Мельбурна, требуют от студентов декларировать использование ИИ в заявлении, прилагаемом к представленным на оценку работам.
Цель в этих и подобных случаях — сохранить «достоверность оценки». Это относится к тому, насколько оценка измеряет то, что мы думаем, она измеряет: фактические способности и знания студентов или то, насколько хорошо они используют ИИ?
Однако мы утверждаем, что установления чётких правил недостаточно для поддержания достоверности оценки.
В новой рецензируемой статье мы представляем концептуальный аргумент о том, как университеты и школы могут лучше подходить к использованию ИИ при оценке.
Мы начинаем с разграничения двух подходов к ИИ и оценке:
* Дискурсивный подход — это изменение правил того, что разрешено и что запрещено, например, указание студентам, что они могут использовать ИИ только для редактирования домашнего эссе.
* Структурный подход — это изменение самой оценки, например, разработка системы живых, оцениваемых обсуждений о выборе, который сделал студент.
В нашей статье мы утверждаем, что большинство университетских ответов на сегодняшний день (включая системы «светофора» и заявления студентов) были дискурсивными. Они изменили только правила, а не сами оценки.
Мы предлагаем, что только структурные изменения могут надёжно защитить достоверность в мире, где использование ИИ означает, что нарушение правил становится всё более незаметным.
В эпоху генеративного ИИ, если мы хотим, чтобы оценки были достоверными и справедливыми, нам нужны структурные изменения.
Структурные изменения означают разработку оценок, в которых достоверность встроена в саму задачу, а не передана правилам или соблюдению студентами.
Это не будет выглядеть одинаково в каждой дисциплине, и это будет непросто. В некоторых случаях может потребоваться оценка студентов совершенно иными способами, чем раньше. Но мы не можем избежать этой проблемы, просто указав студентам, что делать, и надеясь на лучшее.
Если оценка должна сохранить свою функцию как значимое утверждение о способностях студента, она должна быть переосмыслена на уровне дизайна.
Предоставлено The Conversation.