Институт Аллена по искусственному интеллекту (AI2) представил AutoDS (Autonomous Discovery via Surprisal) — инновационный прототип механизма для открытых научных открытий. В отличие от традиционных помощников в исследованиях ИИ, которые зависят от целей или запросов, определённых человеком, AutoDS автономно генерирует, тестирует и итеративно развивает гипотезы, количественно оценивая и выявляя «Байесовскую неожиданность» — обоснованную меру подлинного открытия, даже за пределами того, что ищут люди.
От целенаправленного исследования к открытым исследованиям
Традиционные подходы к автономным научным открытиям (ASD) обычно сосредоточены на ответах на заранее определённые исследовательские вопросы: генерируются гипотезы, относящиеся к данной проблеме, а затем они экспериментально подтверждаются. AutoDS принципиально отличается от этой парадигмы.
AutoDS действует открыто — он решает, какие вопросы задавать, какие гипотезы проверять и как использовать предыдущие результаты, — всё это без заранее определённых целей.
Открытые исследования по своей природе сложны и требуют механизмов как для исследования обширных пространств гипотез, так и для определения приоритетов гипотез, требующих изучения. Для решения этих задач AutoDS формализует концепцию «неожиданности» — измеримого сдвига в убеждениях относительно гипотезы до и после получения эмпирических данных.
Количественная оценка «Байесовской неожиданности» с помощью больших языковых моделей
В основе AutoDS лежит новый фреймворк для оценки «Байесовской неожиданности». Для каждой сгенерированной гипотезы современные большие языковые модели (LLMs), такие как GPT-4o, действуют как вероятностные наблюдатели, выявляя свои «убеждения» относительно гипотезы (в форме вероятностей) как до, так и после эмпирической проверки. Эти распределения убеждений, построенные путём выборки нескольких суждений из LLM, моделируются с помощью бета-распределений.
Чтобы обнаружить значимые открытия, AutoDS вычисляет дивергенцию Кульбака-Лейблера (KL) между апостериорным (после получения доказательств) и априорным (до получения доказательств) бета-распределениями — формальную меру «Байесовской неожиданности».
Эффективный поиск гипотез с помощью MCTS
Для эффективного исследования обширного пространства гипотез требуется нечто большее, чем простой отбор проб. AutoDS использует поиск по дереву Монте-Карло (MCTS) с прогрессивным расширением, чтобы направлять поиск удивительных открытий.
Каждый узел в дереве поиска представляет гипотезу, а ветви соответствуют новым гипотезам, обусловленным предыдущими выводами. Эта структура позволяет AutoDS поддерживать баланс между исследованием новых направлений и продолжением работы над многообещающими версиями.
Модульная мультиагентская архитектура LLM
AutoDS координирует ряд специализированных агентов LLM, каждый из которых отвечает за отдельную часть автономного научного рабочего процесса:
* генерация гипотез;
* разработка эксперимента;
* программирование и выполнение;
* анализ результатов и их корректировка.
Для дедупликации семантически схожих гипотез используется иерархический конвейер кластеризации: текстовые вложения на основе LLM в сочетании с попарными проверками семантической эквивалентности гарантируют, что окончательный набор выходных данных будет включать только действительно отличные открытия.
Согласование с человеком и интерпретируемость
Согласование с человеческой научной интуицией является ключевым показателем. В ходе структурированной оценки (с участием рецензентов со степенью магистра или доктора наук в области STEM) 67% гипотез, которые AutoDS посчитал удивительными, также были признаны таковыми экспертами в данной области.
Практические соображения и перспективы на будущее
AutoDS демонстрирует высокую практическую и экспериментальную валидность, при этом более 98% оценённых открытий были признаны правильно реализованными рецензентами.
Хотя текущие конвейеры зависят от LLM, управляемых через API, и поэтому сталкиваются с ограничениями по задержкам, команда также изучила возможность «программного поиска», который обеспечивает гораздо более быстрые, хотя и менее концептуально богатые результаты.
Хотя AutoDS в настоящее время является исследовательским прототипом (с перспективой открытого исходного кода), его архитектура и эмпирический успех определяют многообещающий путь для масштабируемой науки, управляемой искусственным интеллектом.
AutoDS представляет значительный прогресс в автономном научном мышлении. Переходя от целенаправленных исследований к автономным исследованиям, основанным на любопытстве, и обосновывая свой поиск «Байесовской неожиданностью», он указывает путь к будущим системам ИИ, способным дополнять, ускорять или даже самостоятельно вести научные открытия.
1. Какие инновационные подходы к научным открытиям предлагает AutoDS, и чем он отличается от традиционных помощников в исследованиях ИИ?
AutoDS предлагает инновационный подход к научным открытиям, основанный на принципе «Байесовской неожиданности». В отличие от традиционных помощников в исследованиях ИИ, которые зависят от целей или запросов, определённых человеком, AutoDS автономно генерирует, тестирует и итеративно развивает гипотезы.
2. Как AutoDS оценивает «Байесовскую неожиданность», и какие механизмы использует для этого?
Для оценки «Байесовской неожиданности» AutoDS использует новый фреймворк. Современные большие языковые модели (LLMs), такие как GPT-4o, действуют как вероятностные наблюдатели, выявляя свои «убеждения» относительно гипотезы (в форме вероятностей) как до, так и после эмпирической проверки. Эти распределения убеждений моделируются с помощью бета-распределений. Затем AutoDS вычисляет дивергенцию Кульбака-Лейблера (KL) между апостериорным (после получения доказательств) и априорным (до получения доказательств) бета-распределениями — формальную меру «Байесовской неожиданности».
3. Какие методы и алгоритмы использует AutoDS для эффективного поиска гипотез и исследования обширного пространства гипотез?
Для эффективного поиска гипотез AutoDS использует поиск по дереву Монте-Карло (MCTS) с прогрессивным расширением. Каждый узел в дереве поиска представляет гипотезу, а ветви соответствуют новым гипотезам, обусловленным предыдущими выводами. Эта структура позволяет AutoDS поддерживать баланс между исследованием новых направлений и продолжением работы над многообещающими версиями.
4. Как обеспечивается согласованность работы AutoDS с человеческой научной интуицией, и какие методы используются для оценки его результатов?
Согласование с человеческой научной интуицией является ключевым показателем. В ходе структурированной оценки (с участием рецензентов со степенью магистра или доктора наук в области STEM) 67% гипотез, которые AutoDS посчитал удивительными, также были признаны таковыми экспертами в данной области. Это подтверждает согласованность работы AutoDS с человеческой научной интуицией.
5. Каковы перспективы развития и практического применения AutoDS в будущем?
AutoDS демонстрирует высокую практическую и экспериментальную валидность, при этом более 98% оценённых открытий были признаны правильно реализованными рецензентами. Хотя текущие конвейеры зависят от LLM, управляемых через API, и поэтому сталкиваются с ограничениями по задержкам, команда также изучила возможность «программного поиска», который обеспечивает гораздо более быстрые, хотя и менее концептуально богатые результаты. Хотя AutoDS в настоящее время является исследовательским прототипом (с перспективой открытого исходного кода), его архитектура и эмпирический успех определяют многообещающий путь для масштабируемой науки, управляемой искусственным интеллектом.