Совместная исследовательская группа из KAIST разработала и внедрила виртуального ассистента преподавателя (ВАП)
Совместная исследовательская группа из Корейского института передовых технологий (KAIST) успешно разработала и внедрила виртуального ассистента преподавателя (ВАП), который обеспечивает персонализированную обратную связь для отдельных студентов даже в крупных классах. Руководили группой профессор Юнчжэ Чхве из Высшей школы искусственного интеллекта Ким Джэчуля и профессор Хваджонг Хонг из Департамента промышленного дизайна.
Впечатления студентов
«Сначала у меня не было больших ожиданий от виртуального ассистента преподавателя (ВАП), но он оказался чрезвычайно полезным — особенно когда у меня возникали внезапные вопросы поздно ночью, я мог получить немедленные ответы», — сказал Дживон Ян, студент докторантуры в KAIST. «Я также мог задавать вопросы, которые стеснялся бы задать ассистенту-человеку, что побудило меня задавать ещё больше вопросов и в итоге улучшило моё понимание курса».
Масштабное внедрение в Корее
Это исследование знаменует собой одно из первых крупномасштабных внедрений в реальных условиях в Корее, где ВАП был представлен в курсе «Программирование для искусственного интеллекта» в Высшей школе искусственного интеллекта Ким Джэчуля в KAIST. Курс посещали 477 магистрантов и докторантов в течение осеннего семестра 2024 года, чтобы оценить эффективность и практическую применимость ВАП в реальных образовательных условиях.
Особенности разработки
ВАП, разработанный в этом исследовании, является специализированным агентом для конкретного курса, в отличие от универсальных инструментов, таких как ChatGPT, или обычных чат-ботов. Исследовательская группа внедрила архитектуру Retrieval-Augmented Generation (RAG), которая автоматически преобразует большой объём учебных материалов — включая слайды лекций, задания по кодированию и видеолекции — и использует их в качестве основы для ответов на вопросы студентов.
Когда студент задаёт вопрос, система в реальном времени ищет наиболее релевантные учебные материалы на основе контекста запроса и затем генерирует ответ. Этот процесс представляет собой не просто обращение к большой языковой модели (LLM), а систему ответов на вопросы, основанную на материалах и адаптированную к содержанию курса, что обеспечивает высокую надёжность и точность поддержки обучения.
Результаты и выводы
Сунджун Квон, первый автор исследования и главный ассистент преподавателя курса, объяснил: «Ранее ассистенты-люди были перегружены повторяющимися и базовыми вопросами, такими как уже рассмотренные в классе концепции или простые определения, что затрудняло сосредоточение на более значимых запросах».
«После внедрения ВАП студенты начали сокращать количество повторяющихся вопросов и сосредоточиться на более существенных. В результате нагрузка на ассистентов-людей значительно снизилась, что позволило им сосредоточиться на предоставлении более продвинутой поддержки в обучении», — добавил он.
По сравнению с предыдущим годом количество вопросов, требующих прямых ответов от ассистентов-людей, уменьшилось примерно на 40%.
Использование и взаимодействие
ВАП, работавший в течение 14 недель, активно использовался более чем половиной зачисленных студентов, было зафиксировано 3 869 взаимодействий в формате вопросов и ответов. Примечательно, что студенты без опыта работы с искусственным интеллектом или с ограниченными предварительными знаниями, как правило, использовали ВАП чаще, что указывает на то, что система оказывала практическую поддержку в качестве учебного пособия, особенно для тех, кто в ней больше всего нуждался.
Анализ также показал, что студенты задавали ВАП больше вопросов о теоретических концепциях, чем ассистентам-людям. Это говорит о том, что ВАП создал среду, в которой студенты чувствовали себя свободно, задавая вопросы без страха осуждения или дискомфорта, тем самым поощряя более активное участие в процессе обучения.
Отзывы студентов
Согласно опросам, проведённым до, во время и после курса, студенты сообщали о возросшем доверии, актуальности ответов и комфорте при работе с ВАП с течением времени. В частности, студенты, которые ранее стеснялись задавать ассистентам-людям вопросы, демонстрировали более высокий уровень удовлетворённости при взаимодействии с ВАП.
Профессор Чхве, ведущий преподаватель курса и главный исследователь исследования, заявил: «Значение этого исследования заключается в демонстрации того, что технология искусственного интеллекта может оказывать практическую поддержку как студентам, так и преподавателям. Мы надеемся, что в будущем эта технология будет применяться в более широком спектре курсов».
Доступность исходного кода
Исследовательская группа разместила исходный код системы на GitHub, что позволяет другим учебным заведениям и исследователям разрабатывать собственные специализированные системы поддержки обучения и применять их в реальных условиях классных комнат.
Предоставлено Корейским институтом передовых технологий (KAIST)