Исследователи разработали чат-бота для обучения юриспруденции, но ИИ постоянно ошибался

Искусственный интеллект в роли репетитора 🧠 подаётся как способ [революционизировать образование](https://link.springer.com/chapter/10.1007/978-3-031-60179-85?utmsource=chatgpt.com). Идея в том, что инструменты на основе генеративного ИИ (вроде ChatGPT) смогут адаптироваться к стилю преподавания учителя, шаг за шагом направлять студентов, давать подсказки без прямых ответов 💡 и предоставлять мгновенную обратную связь, учитывающую пробелы в знаниях.

Однако исследования эффективности ИИ в реальных учебных условиях, особенно в университетах, почти отсутствуют 🧪. В рамках [нового эксперимента](https://lthj.qut.edu.au/article/view/3764) учёные разработали чат-бот SmartTest для курса уголовного права, чтобы проверить его потенциал в персонализированном обучении.

Разработанный в 2022 году как часть проекта [по демократизации доступа к ИИ](https://safetofailai.streamlit.app/About), SmartTest отличается от обычных чат-ботов:

  • Позволяет преподавателям встраивать вопросы, эталонные ответы и подсказки 📝.

  • Использует [Сократический метод](https://www.law.uchicago.edu/socratic-method), стимулируя студентов думать, а не получать готовые решения.

Тестирование в Университете Вуллонгонга (2023) выявило противоречивые результаты:

  • В первых трёх циклах (сложные сценарии) 40–54% ответов бота содержали ошибки или неточную информацию ⚠️.

  • В простых заданиях (короткие ответы) ошибки сократились до 6–27%, но даже тогда иногда давались противоречивые подсказки ❗️.

Главная проблема — непредсказуемость ИИ. Даже при замене ChatGPT-4 на более продвинутые модели (вроде ChatGPT-4.5) улучшений не произошло: новые версии часто выдавали менее точные ответы с педагогической точки зрения 🛑.

Мнение студентов:

  • 76% предпочли иметь доступ к SmartTest, чем вообще не практиковаться.

  • Но лишь 27% выбрали мгновенный фидбек от ИИ вместо ожидания обратной связи от человека 👩🏫👨🎓.

Выводы исследования:

  • Генеративный ИИ может поддерживать низкорисковые учебные активности, но не заменяет глубину и надёжность человеческого преподавания.

  • Внедрение ИИ требует огромных усилий (настройка, проверка), что ставит под сомнение его «экономию времени» для преподавателей ⏳.

Потенциал есть, но риски ошибок и недоверия остаются. Переход на ИИ в образовании требует осторожности и строгой оценки 🚨.

[Протестировать SmartTest можно здесь](https://safetofailai.streamlit.app/Safe-to-failStudyUOW-UNSW) (пароль: 101).

Материал подготовлен при поддержке [The Conversation](https://theconversation.com).
Источник: [STEM Educators and Teaching](https://www.physicsforums.com/forums/stem-educators-and-teaching.192/).

Источник

Оставьте комментарий