В XVII веке немецкий астроном Иоганн Кеплер вывел законы движения, которые позволили точно предсказывать положение планет в нашей Солнечной системе. Но только десятилетия спустя Исаак Ньютон сформулировал универсальные законы гравитации, и стали понятны лежащие в их основе принципы. Хотя они были вдохновлены законами Кеплера, они пошли гораздо дальше и позволили применять одни и те же формулы ко всему: от траектории пушечного ядра до влияния лунного притяжения на приливы и отливы на Земле — или для запуска спутника с Земли на поверхность Луны или планет.
Сегодняшние сложные системы искусственного интеллекта (ИИ) научились делать конкретные прогнозы, напоминающие предсказания Кеплера относительно орбит. Но знают ли они, почему эти прогнозы работают, с глубоким пониманием, основанным на таких базовых принципах, как законы Ньютона?
Исследователи из Лаборатории информационных и управляющих систем (LIDS) Массачусетского технологического института (MIT) и Гарвардского университета разработали новый подход к оценке того, насколько глубоко эти прогностические системы понимают предмет своей деятельности, и могут ли они применять знания из одной области в несколько иной.
🔬 Исследователи представили свои выводы на Международной конференции по машинному обучению в Ванкувере, Британская Колумбия, в прошлом месяце. В исследовании приняли участие научный сотрудник Гарварда Кеён Вафа, аспирант MIT в области электротехники и информатики и сотрудник LIDS Питер Г. Чанг, доцент MIT и главный исследователь LIDS Ашеш Рамбахан и профессор MIT, главный исследователь LIDS и старший автор Сендхил Муллейнатан.
«Люди всё время могли переходить от хороших прогнозов к моделям мира», — говорит Вафа, ведущий автор исследования. Так что вопрос, на который отвечала его команда: «Смогли ли базовые модели — ИИ — совершить этот переход от прогнозов к моделям мира?»
«Мы знаем, как проверить, хорошо ли алгоритм делает прогнозы. Но нам нужен способ проверить, хорошо ли он понял», — говорит Муллейнатан, профессор Питера де Флореза с двойным назначением в департаментах MIT по экономике, электротехнике и информатике, и старший автор исследования.
В аналогии Кеплер — Ньютон Вафа говорит: «У них обоих были модели, которые хорошо работали в одной задаче и работали практически одинаково в этой задаче. Ньютон предложил идеи, которые смогли обобщить для новых задач».
Другая аналогия, которая помогает проиллюстрировать суть, — это разница между веками накопленных знаний о том, как селекционно разводить сельскохозяйственные культуры и животных, и озарением Грегора Менделя, лежащим в основе законов генетического наследования.
«В этой области существует большой энтузиазм по поводу использования базовых моделей не только для выполнения задач, но и для того, чтобы узнать что-то о мире», — например, в естественных науках, — говорит он.
Могут ли системы ИИ приблизиться к таким обобщениям?
Чтобы проверить это, команда рассмотрела различные примеры прогностических систем ИИ на разных уровнях сложности. В самых простых примерах системы преуспели в создании реалистичной модели симулированной системы, но по мере усложнения примеров эта способность быстро исчезала.
Команда разработала новую метрику — способ количественного измерения того, насколько хорошо система приближается к условиям реального мира. Они называют это измерение индуктивным смещением — то есть тенденцией или смещением к ответам, которые отражают реальность, на основе выводов, разработанных путём изучения огромных объёмов данных по конкретным случаям.
Более сложной задачей является система, которая может играть в настольную игру «Отелло», в которой игроки поочерёдно размещают чёрные или белые диски на сетке. Модели ИИ могут точно предсказывать, какие ходы допустимы в данный момент, но оказывается, что они плохо справляются с определением общего расположения фигур на доске, включая те, которые в данный момент заблокированы для игры.
Команда рассмотрела пять различных категорий прогностических моделей, которые фактически используются, и снова, чем сложнее были задействованные системы, тем хуже прогностические модели справлялись с сопоставлением истинной базовой модели мира.
С помощью этой новой метрики индуктивного смещения «мы надеемся создать своего рода испытательный стенд, где вы сможете оценить разные модели, разные подходы к обучению на задачах, где мы знаем, какова истинная модель мира», — говорит Вафа.
Люди уже пытаются использовать такие системы ИИ для прогнозирования свойств химических соединений, которые ещё не были созданы, или потенциальных фармацевтических соединений, или для прогнозирования поведения сворачивания и свойств неизвестных белковых молекул. «Для более реалистичных задач, — говорит Вафа, — даже для чего-то вроде базовой механики, мы обнаружили, что предстоит пройти ещё долгий путь».
1. Какие методы используются для оценки понимания ИИ предметной области?
В статье упоминается, что исследователи из Лаборатории информационных и управляющих систем (LIDS) Массачусетского технологического института (MIT) и Гарвардского университета разработали новый подход к оценке того, насколько глубоко прогностические системы ИИ понимают предмет своей деятельности. Этот подход включает в себя разработку новой метрики — индуктивного смещения, которая позволяет количественно измерить, насколько хорошо система приближается к условиям реального мира.
2. Какие примеры прогностических систем ИИ были рассмотрены в исследовании?
В исследовании команда рассмотрела различные примеры прогностических систем ИИ на разных уровнях сложности. В самых простых примерах системы преуспели в создании реалистичной модели симулированной системы, но по мере усложнения примеров эта способность быстро исчезала. Также была рассмотрена система, которая может играть в настольную игру «Отелло», в которой игроки поочерёдно размещают чёрные или белые диски на сетке. Модели ИИ могут точно предсказывать, какие ходы допустимы в данный момент, но оказывается, что они плохо справляются с определением общего расположения фигур на доске.
3. Какие выводы были сделаны исследователями относительно способности ИИ обобщать знания?
Исследователи пришли к выводу, что по мере усложнения примеров способность прогностических систем ИИ создавать реалистичные модели симулированных систем быстро исчезала. Это указывает на то, что системы ИИ пока не способны в полной мере обобщать знания и применять их в новых, более сложных условиях.
4. Какие перспективы использования ИИ в естественных науках были отмечены в статье?
В статье отмечается, что существует большой энтузиазм по поводу использования базовых моделей ИИ не только для выполнения задач, но и для того, чтобы узнать что-то о мире, например, в естественных науках. Однако исследователи также подчёркивают, что для более реалистичных задач, даже для чего-то вроде базовой механики, предстоит пройти ещё долгий путь.
5. Какие ограничения ИИ были выявлены в ходе исследования?
Исследование показало, что чем сложнее были задействованные системы, тем хуже прогностические модели справлялись с сопоставлением истинной базовой модели мира. Это указывает на то, что ИИ пока не способен полностью понять и обобщить сложные закономерности и принципы, лежащие в основе реальных систем.