Исследователи из Токийского университета в сотрудничестве с Aisin Corporation продемонстрировали, что универсальные масштабные законы, описывающие изменение свойств системы в зависимости от её размера и масштаба, применимы к глубоким нейронным сетям, которые демонстрируют поведение, характерное для поглощающего фазового перехода. Это явление обычно наблюдается в физических системах.
Открытие не только предоставляет основу для описания глубоких нейронных сетей, но и помогает прогнозировать их обучаемость или обобщающую способность. Результаты исследования были опубликованы в журнале Physical Review Research.
В последние годы искусственный интеллект (ИИ) встречается нам повсюду
Текущая версия технологии основана на глубоких нейронных сетях: многочисленных слоях цифровых «нейронов» с взвешенными связями между ними. Сеть обучается путём модификации весов между «нейронами» до тех пор, пока не начнёт выдавать правильные результаты. Однако единая теория, описывающая распространение сигнала между слоями нейронов в системе, пока ускользала от учёных.
«Наше исследование было мотивировано двумя факторами», — говорит Кейити Тамаи, первый автор. «Частично промышленными потребностями, поскольку настройка этих массивных моделей методом перебора наносит ущерб окружающей среде. Но была и вторая, более глубокая цель: научное понимание физики интеллекта».
Поглощающие фазовые переходы
Опыт Тамаи в области статистической физики фазовых переходов дал ему первый намёк. Поглощающие фазовые переходы относятся к резкому сдвигу в переломный момент от активной к поглощающей фазе, из которой система не может выйти без посторонней помощи. Примером такой физической системы может быть потухший пожар.
Важно отметить, что эти системы демонстрируют универсальное поведение вблизи переломного момента и могут быть описаны с помощью универсальных масштабных законов, если сохраняются определённые свойства. Если глубокие нейронные сети демонстрируют поглощающие фазовые переходы, то универсальные масштабные законы могут применяться, обеспечивая единую основу для описания их функционирования. Следовательно, исследователи смогут предсказывать, будет ли сигнал «потухать» в определённой настройке глубокого обучения.
Для исследования учёные объединили теорию с моделированием
Они вывели показатели, которые являются универсальными для всех систем, и масштабные коэффициенты, которые различаются в разных системах, из теории, когда это было возможно, и использовали моделирование для подтверждения масштабных законов в более сложных случаях.
«Какое совпадение, — подумал Тамаи, вспоминая, как впервые заметил связь между глубокими нейронными сетями и поглощающими фазовыми переходами. — Я никогда не думал, что буду заниматься исследованиями в области глубокого обучения, не говоря уже о том, чтобы найти эффективное применение концепции, над которой я работал в качестве докторанта по физике».
Открытие также приближает нас к пониманию физики интеллекта, поскольку оно возрождает гипотезу о критичности мозга, которая утверждает, что некоторые биологические сети работают вблизи фазовых переходов. Тамаи в восторге от перспектив этого направления исследований.
«Ещё в 1950 году Алан Тьюринг намекал на эту связь, но тогда инструменты для этого не были готовы. Благодаря быстрому накоплению данных в нейронауках и развитию ИИ, близкого к человеческому уровню, я считаю, что мы находимся в идеальном моменте, чтобы пересмотреть и углубить наше понимание этой фундаментальной взаимосвязи».
Предоставлено Токийским университетом.