Уровень 1: ИИ на олимпиадах
С тех пор как большие языковые модели (LLMs) — вид ИИ — стали широко доступны для широкой публики, их растущие возможности вызвали интерес и опасения во многих областях. Когда их способности в физике стали более очевидными, я начал задаваться вопросом, что это может означать для условий, где должен проявляться индивидуальный опыт.
В 2024 году я защитил докторскую диссертацию о том, как студенты решают сложные задачи, особенно в контексте Немецкой олимпиады по физике — многоэтапного соревнования, где высокомотивированные студенты работают над сложными физическими задачами, выходящими за рамки стандартной программы.
С этой точки зрения возникло беспокойство: олимпиада по физике представляет собой ситуацию, где LLM могут быть использованы тихо, но эффективно, ставя под вопрос справедливость соревнования и его целостность.
Если ИИ-модели смогут решать задачи уровня олимпиады по физике так же хорошо — или даже лучше — чем сами участники олимпиады, то олимпиада больше не будет награждать глубокое понимание или искренние усилия. Вместо этого она рискует вознаграждать тех, кто полагался на LLM, независимо от их собственного уровня знаний.
Уровень 2: тестирование возможностей ИИ
Чтобы лучше понять масштабы потенциальной проблемы, мы с коллегами решили проверить, насколько хорошо современные LLM справляются с задачами уровня олимпиады по физике. В нашем исследовании мы оценили, используя реальные задачи из Немецкой олимпиады по физике, две продвинутые LLM: GPT-4o, модель, лежащая в основе ChatGPT, и o1-preview, более новая модель, оптимизированная для рассуждений.
Перед проведением исследования я уже ожидал, что LLM будут работать достаточно хорошо. Предыдущие исследования уже показали, что LLM могут отвечать на стандартные физические вопросы и решать задачи на уровне старшей школы или раннего университета. Но я был поражён тем, насколько хорошо они справились с задачами уровня олимпиады — задачами, предназначенными для того, чтобы бросить вызов лучшим студентам страны. GPT-4o превзошёл среднего участника-человека, а более новая модель o1-preview справилась ещё лучше.
Если LLM могут выдавать высококачественные решения наравне с лучшими студентами или даже лучше, то любая наблюдаемая производительность в условиях без надзора — будь то домашние задания, раунды соревнований, домашние задания или онлайн-экзамены — может быть подозрительной.
Уровень 3: вызовы для образования
Эта новая реальность ставит под сомнение обоснованность многих текущих форматов оценки и заставляет нас пересмотреть не только то, как мы измеряем знания в области физики, но и какие виды знаний и способностей мы хотим развивать у студентов в первую очередь.
Один из возможных ответов — запретить использование ИИ в образовательных условиях и обеспечить соблюдение этого запрета с помощью инструментов обнаружения. Но это вряд ли удастся, поскольку это приведёт к постоянной гонке вооружений между всё более совершенными LLM и инструментами, предназначенными для обнаружения их результатов. Методы обнаружения почти всегда будут отставать на шаг, что затрудняет надёжное различение между работой, выполненной человеком, и работой, выполненной ИИ.
Другой возможный подход — больше полагаться на физические задачи в ситуациях оценки, которые используют текущие слабости LLM — например, задачи, требующие интерпретации диаграмм. Однако это в лучшем случае краткосрочное решение, поскольку такие слабости могут вскоре исчезнуть.
Чтобы гарантировать, что то, что мы оцениваем, по-прежнему отражает собственное мышление студентов, нам, возможно, потребуется больше полагаться на контролируемые форматы, такие как устные экзамены или личные письменные работы. Эти форматы, однако, потребуют значительно больше ресурсов.
Но вместо того, чтобы сосредоточиться исключительно на смягчении рисков, связанных с ИИ, не должны ли мы задать другой вопрос? Почему бы не позволить студентам использовать ИИ и не сосредоточиться на обучении их тому, как делать это вдумчиво и ответственно?
Магнитные топологические изоляторы (МТИ)
Магнитные топологические изоляторы (МТИ) предсказывают проведение электричества вдоль своих поверхностей, но действуют как изоляторы в своей внутренней части, что является многообещающей характеристикой для вычислительных платформ следующего поколения. При низких температурах МТИ могут поддерживать квантовый аномальный эффект Холла (QAHE).
Обнаруженный в 2013 году, QAHE проявляется как квантовая поперечная проводимость, когда ток течёт через ферромагнитную пластину без внешнего магнитного поля. Теперь Джордж Фергюсон и Катя Новак из Корнельского университета и их коллеги обнаружили, что, вопреки ожиданиям, краевые токи в пластине МТИ присутствуют даже после того, как её квантовая проводимость разрушается.
МТИ привлекают интерес отчасти потому, что их поверхностные токи, как ожидается, будут течь без потерь, что является преимуществом для энергоэффективных устройств. В 2023 году члены исследовательской группы обнаружили, что при низком токе смещения, поддерживающем QAHE, в электронном транспорте в МТИ преобладают объёмные, а не краевые токи.
Результат был неожиданным, поскольку токи, генерирующие QAHE, часто считаются ограниченными краями образца. В новом эксперименте команда использовала сканирующую сверхпроводящую квантовую интерференционную микроскопию для измерения распределения тока в тех же образцах МТИ, но с более высоким током смещения, который подавлял QAHE.
В отличие от предыдущего эксперимента, команда наблюдала ток, сконцентрированный вблизи краёв образца, который сосуществовал с более крупным током, распределённым равномерно по ширине устройства. Модели команды предполагают, что наблюдаемые краевые токи возникли из-за изменений намагниченности, вызванных градиентами электростатического и химического потенциала.
Исследователи говорят, что работа послужит ориентиром для будущих исследований, направленных на выяснение связи между топологически защищёнными поверхностными состояниями и другими электронными явлениями в МТИ.
— Рэйчел Берковиц
Рэйчел Берковиц — ответственный редактор журнала Physics Magazine, базируется в Ванкувере, Канада.