Персонализированное обучение
Персонализированное обучение — это эффективный метод обучения, но его потенциал ограничен из-за нехватки ресурсов. В небольших очных классах преподаватели могут свободно перемещаться, взаимодействовать со студентами индивидуально, адаптировать уроки и подстраивать своё преподавание под нужды каждого ученика. Однако по мере увеличения размера классов или в онлайн-курсах с сотнями или даже тысячами учеников такой уровень персонализации становится сложным или невозможным.
Педагогические чат-боты
Здесь на помощь приходят педагогические чат-боты, говорит доцент Тиффани Ли, чьи исследования сосредоточены на пересечении взаимодействия человека и компьютера и образовательных технологий. Педагогические чат-боты, ставшие более функциональными и широко доступными с развитием генеративного искусственного интеллекта, обещают трансформировать персонализированное обучение в больших масштабах, предоставляя индивидуальную поддержку ученикам по запросу. Например, когда ученик изо всех сил пытается понять концепцию, чат-бот может ответить ему, отвечая на вопросы и устраняя путаницу в режиме реального времени.
И, в отличие от одного инструктора, чат-бот может делать это для бесчисленного количества учеников одновременно. Чат-боты также могут быть очень полезны для учеников, которые предпочитают учиться в своём темпе или вне традиционных классных комнат.
Однако, как отмечает Ли, у этих чат-ботов есть свои недостатки. Иногда они допускают ошибки, предоставляют неполную информацию, выдумывают факты или искажают логику, что может навредить обучению их пользователей. Чтобы убедиться, что использование этих чат-ботов не принесёт вреда ученикам, Ли и несколько её коллег провели систематическое исследование, чтобы выяснить, насколько ученики способны обнаруживать фактически неверную информацию, предоставленную чат-ботом, и где и почему ученики сталкиваются с трудностями в этом процессе.
Исследование Тиффани Ли
Сначала Ли и её команда создали педагогического чат-бота для изучения вводной статистики и поместили его в среду обучения, аналогичную той, что предлагают онлайн-платформы обучения, такие как Coursera. При создании чат-бота они заранее запрограммировали его на совершение некоторых ошибок в ответах, чтобы посмотреть, смогут ли ученики, использующие его, обнаружить их.
Затем команда набрала 177 участников, включая студентов колледжей и взрослых учащихся. В процессе выполнения практических заданий участники взаимодействовали с чат-ботом по своему усмотрению. Им был предоставлен одновременный доступ к дополнительным ресурсам, таким как онлайн-учебник и поисковые системы, чтобы можно было проверить ответы чат-бота и учесть различные потребности в обучении.
Участники должны были сообщать о любых проблемах, замеченных в ответах чат-бота, используя кнопку под каждым ответом чат-бота. Команда также предоставила стимул для проверки ответов чат-бота.
Команда обнаружила, что в среднем у учащихся было лишь около 15% шансов на успешное сообщение об ошибках чат-бота, несмотря на стимул и инструменты для перепроверки ответов. Неправильная информация влияла на их обучение.
Когда участники сталкивались с ошибками чат-бота, их средняя точность выполнения практических заданий составляла от 25% до 30%, что значительно отличалось от контрольной группы, которая не сталкивалась с ошибками чат-бота. Участники контрольной группы без ошибок справлялись гораздо лучше. Их средняя точность выполнения тех же практических заданий составляла от 60% до 66%.
Команда изложила свои выводы в статье под названием «Могут ли учащиеся ориентироваться в несовершенных генеративных педагогических чат-ботах? Анализ ошибок чат-ботов в обучении», которую они представили на конференции «Learning @ Scale».
Команда также исследовала причины этого явления и обнаружила, что их было несколько. Иногда участники полагались на стратегии проверки, которые были менее эффективны для новичков, такие как проверка ответов чат-бота на основе их предварительных знаний по предмету.
Иногда участники считали, что чат-бот знает лучше, особенно когда они были новичками в этой теме, поэтому они принимали ответы без проверки. «Чат-боты могут звучать очень красноречиво и уверенно, что делает их очень компетентными — и это вызывает доверие», — объясняет Ли. «Участники, которые имели более низкий уровень доверия к чат-боту, чаще сообщали об ошибках чат-бота правильно».
Команда Ли также обнаружила, что определённые типы учащихся были более уязвимы, чем другие. Люди с меньшим опытом использования чат-ботов и не являющиеся носителями английского языка реже сообщали об ошибках чат-ботов. А участники с недостаточными предварительными знаниями по предмету и участницы испытали большее снижение эффективности выполнения практических заданий, когда сталкивались с ошибками чат-ботов.
«Эти группы были более уязвимы к ошибкам чат-ботов, чем другие, и это означает, что мы должны потенциально разработать персонализированные вмешательства или поддержку для определённых групп, исходя из того, почему они больше борются», — говорит Ли.
Тем временем Ли предлагает преподавателям быть немного более осторожными в отношении того, следует ли и когда им использовать этих чат-ботов на своих занятиях. «Возможно, чат-бот не должен использоваться, когда студенты пытаются понять концепции в первый раз», — отмечает она. «Но, возможно, его можно использовать позже в курсе, когда студенты изучили основы, имеют определённые предварительные знания и готовятся к тесту».