Уровень олимпиадного ИИ уже здесь — что теперь?

С тех пор как большие языковые модели (БЯМ) — вид ИИ — стали широко доступны, их растущие возможности вызывают интерес и беспокойство во многих областях. Когда их способности в физике стали более очевидными, я задумался о том, что это может означать для сфер, где важен индивидуальный опыт.

В 2024 году я защитил докторскую диссертацию о том, как студенты решают сложные задачи, особенно в контексте Немецкой олимпиады по физике — многоэтапного конкурса, где высокомотивированные ученики работают над сложными физическими задачами, выходящими за рамки стандартной программы.

С этой точки зрения возникло беспокойство: олимпиада представляет собой ситуацию, где БЯМ могут использоваться тихо, но эффективно, поднимая сложные вопросы о том, является ли соревнование справедливым и можно ли сохранить его честность.

Если ИИ-модели смогут решать задачи уровня олимпиады по физике так же хорошо — или даже лучше — чем сами участники олимпиады, то олимпиада больше не будет вознаграждать глубокое понимание или искренние усилия. Вместо этого она рискует вознаграждать тех, кто полагался на БЯМ, независимо от их собственного уровня знаний.

Чтобы лучше понять масштаб потенциальной проблемы, мы с коллегами решили проверить, насколько хорошо современные БЯМ справляются с задачами уровня олимпиады по физике. В нашем исследовании мы оценили, используя реальные задачи из Немецкой олимпиады по физике, две продвинутые БЯМ: GPT-4o, модель, которая ранее стояла за ChatGPT, и o1-preview, более новую модель, оптимизированную для рассуждений [1].

Мы ожидали, что БЯМ покажут неплохие результаты. Предыдущие исследования уже показали, что БЯМ могут отвечать на стандартные вопросы по физике и решать задачи на уровне старшей школы или раннего университета. Но мы были поражены тем, насколько хорошо они справились с задачами уровня олимпиады — задачами, предназначенными для проверки знаний лучших студентов страны. GPT-4o превзошла среднего участника-человека, а более новая модель o1-preview показала ещё лучшие результаты.

Если БЯМ могут выдавать высококачественные решения, сопоставимые или превосходящие решения лучших студентов, то любая наблюдаемая производительность в условиях без надзора — будь то раунды домашних заданий на конкурсе, домашние задания или онлайн-экзамены — может вызывать сомнения.

Магнитные топологические изоляторы имеют интересную сторону

Магнитные топологические изоляторы (МТИ) предсказывают проведение электричества вдоль своих поверхностей, но действуют как изоляторы в своей внутренней части — это многообещающая характеристика для вычислительных платформ следующего поколения.

При низких температурах МТИ могут поддерживать квантовый аномальный эффект Холла (QAHE). Обнаруженный в 2013 году, QAHE проявляется как квантовая поперечная проводимость, когда ток проходит через ферромагнитную пластину без внешнего магнитного поля.

Теперь Джордж Фергюсон и Катя Новак из Корнельского университета и их коллеги обнаружили, что, вопреки ожиданиям, краевые токи в пластине МТИ присутствуют даже после того, как её квантовая проводимость разрушается [1].

МТИ привлекают внимание отчасти потому, что их поверхностные токи, как ожидается, будут течь без диссипации, что станет преимуществом для энергоэффективных устройств.

В 2023 году члены исследовательской группы обнаружили, что при низком токе смещения, поддерживающем QAHE, в электронном транспорте в МТИ преобладают объёмные, а не краевые токи [2]. Результат был неожиданным, поскольку токи, генерирующие QAHE, часто считаются ограниченными краями образца.

В новом эксперименте команда использовала сканирующую сверхпроводящую квантовую интерференционную микроскопию для измерения распределения тока в тех же образцах МТИ, но с более высоким током смещения, который подавлял QAHE.

В отличие от предыдущего эксперимента, команда наблюдала ток, сконцентрированный вблизи краёв образца, который сосуществовал с более крупным током, распределённым равномерно по ширине устройства.

Модели команды предполагают, что наблюдаемые краевые токи возникли из-за изменений намагниченности, вызванных градиентами электростатического и химического потенциала. Исследователи говорят, что работа будет определять будущие исследования, направленные на выяснение связи между топологически защищёнными поверхностными состояниями и другими электронными явлениями в МТИ.

Rachel Berkowitz,
Corresponding Editor for Physics Magazine,
Vancouver, Canada

[1]: [ссылка]
[2]: [ссылка]

Источник