Анализ, проведенный некоммерческим исследовательским институтом в области ИИ Epoch AI, позволяет предположить, что индустрия искусственного интеллекта в ближайшее время может столкнуться с ограничением в достижении значительного прогресса производительности моделей, ориентированных на логическое мышление. Согласно выводам доклада, замедление темпов развития таких систем может начаться уже в течение следующего года.
Модели для рассуждений, такие как OpenAI o3, в последние месяцы демонстрировали существенный прогресс в преодолении тестовых эталонов ИИ, особенно в оценке математических и программистских навыков. Эти модели способны задействовать больше вычислительных ресурсов для решения задач, что повышает их эффективность, однако увеличивает время выполнения операций по сравнению с классическими системами.
Технология создания моделей рассуждений включает два этапа: первоначальное обучение обычной модели на обширных данных с последующим применением обучения с подкреплением (reinforcement learning), которое предоставляет системе «обратную связь» по результатам решения сложных задач.
По данным Epoch, ведущие лаборатории ИИ, включая OpenAI, до сих пор не использовали значительные вычислительные мощности на этапе обучения с подкреплением для таких моделей. Однако ситуация меняется: OpenAI заявила, что для тренировки модели o3 использовала в 10 раз больше ресурсов, чем для её предшественницы o1, и, по предположениям Epoch, большая часть этих ресурсов была направлена именно на обучение с подкреплением. Исследователь OpenAI Дэн Робертс ранее также упоминал, что в будущем компания планирует увеличивать приоритетность этого этапа, требуя ещё больше вычислительной мощности, чем для базового обучения моделей.
Тем не менее, как отмечает Epoch, существует верхний предел масштабируемости вычислительных ресурсов для обучения с подкреплением. Аналитик Epoch и автор исследования Джош Ю поясняет, что текущий ежегодный рост производительности от стандартного обучения моделей ИИ увеличивается вчетверо, тогда как эффективность обучения с подкреплением растёт десятикратно каждые 3–5 месяцев. По его оценкам, к 2026 году прогресс в тренировке моделей рассуждений, вероятно, достигнет общего уровня развития передовых технологий.
Анализ Epoch основан на ряде допущений, включая публичные заявления руководителей ИИ-компаний. Однако в нём также отмечается, что масштабирование моделей рассуждений может столкнуться с проблемами, выходящими за рамки вычислительных мощностей, такими как высокие накладные расходы на исследования.
«Если сохранятся существенные затраты на исследования, масштабирование моделей рассуждений может оказаться менее значительным, чем ожидалось», — пишет Ю. — «Стремительное увеличение вычислительных ресурсов, вероятно, играет ключевую роль в развитии этих моделей, поэтому важно продолжать мониторинг этой сферы».
Любые свидетельства приближения к пределам масштабируемости моделей рассуждений вызывают беспокойство в индустрии ИИ, учитывая огромные ресурсы, вложенные в их разработку. Уже сейчас исследования выявляют серьёзные недостатки таких моделей, включая высокую стоимость эксплуатации и тенденцию к генерации недостоверной информации (галлюцинаций) чаще, чем у некоторых классических систем.