Новые алгоритмы позволяют эффективно использовать машинное обучение с симметричными данными. Если повернуть изображение молекулярной структуры, человек поймёт, что повёрнутое изображение — это всё ещё та же молекула, но модель машинного обучения может посчитать его новой точкой данных. На языке информатики молекула является «симметричной», что означает: фундаментальная структура молекулы остаётся неизменной при определённых преобразованиях, например, при вращении.
Если модель для поиска лекарств не учитывает симметрию, она может делать неточные прогнозы о свойствах молекул. Однако до недавнего времени было неясно, существует ли вычислительно эффективный метод для обучения хорошей модели, которая гарантированно учитывает симметрию.
Новое исследование учёных MIT отвечает на этот вопрос и демонстрирует первый метод машинного обучения с учётом симметрии, который является доказуемо эффективным с точки зрения объёма вычислений и необходимых данных.
Эти результаты проясняют фундаментальный вопрос и могут помочь исследователям в разработке более мощных моделей машинного обучения, предназначенных для работы с симметрией. Такие модели будут полезны в различных приложениях: от поиска новых материалов до выявления астрономических аномалий и расшифровки сложных климатических закономерностей.
«Симметрии важны, потому что они содержат определённую информацию, которую природа сообщает нам о данных, и мы должны учитывать её в наших моделях машинного обучения. Теперь мы показали, что можно эффективно использовать машинное обучение с симметричными данными», — говорит Бехруз Тахмасеби, аспирант MIT и соавтор исследования.
Изучение симметрии
Симметричные данные встречаются во многих областях, особенно в естественных науках и физике. Модель, распознающая симметрии, способна идентифицировать объект, например, автомобиль, независимо от его расположения на изображении.
Если модель машинного обучения не предназначена для работы с симметрией, она может быть менее точной и склонной к сбоям при работе с новыми симметричными данными в реальных ситуациях. С другой стороны, модели, учитывающие симметрию, могут работать быстрее и требовать меньше данных для обучения.
Однако обучение модели для обработки симметричных данных — непростая задача.
Один из распространённых подходов — это аугментация данных, когда исследователи преобразуют каждую симметричную точку данных во множество точек, чтобы помочь модели лучше обобщать новые данные. Например, можно многократно повернуть молекулярную структуру для получения новых обучающих данных, но если исследователи хотят, чтобы модель гарантированно учитывала симметрию, это может быть вычислительно затратным.
Альтернативный подход — это кодирование симметрии в архитектуре модели. Хорошо известный пример — графовые нейронные сети (GNN), которые по своей природе обрабатывают симметричные данные из-за особенностей своей конструкции.
«Графовые нейронные сети быстрые и эффективные, и они хорошо справляются с симметрией, но никто толком не знает, чему эти модели обучаются и почему они работают. Понимание GNN — основная мотивация нашей работы, поэтому мы начали с теоретической оценки того, что происходит, когда данные являются симметричными», — говорит Тахмасеби.
Учёные исследовали статистико-вычислительный компромисс в машинном обучении с симметричными данными. Этот компромисс означает, что методы, требующие меньшего объёма данных, могут быть более вычислительно затратными, поэтому исследователям необходимо найти правильный баланс.
Опираясь на эту теоретическую оценку, исследователи разработали эффективный алгоритм машинного обучения с симметричными данными.
Математические комбинации
Для этого они использовали идеи из алгебры, чтобы сократить и упростить задачу. Затем они переформулировали задачу, используя идеи из геометрии, которые эффективно отражают симметрию.
Наконец, они объединили алгебру и геометрию в задачу оптимизации, которую можно решить эффективно, получив в результате новый алгоритм.
«Большинство теорий и приложений были сосредоточены либо на алгебре, либо на геометрии. Здесь мы просто объединили их», — говорит Тахмасеби.
Алгоритм требует меньшего количества образцов данных для обучения, чем классические подходы, что улучшит точность модели и её способность адаптироваться к новым приложениям.
Доказав, что учёные могут разрабатывать эффективные алгоритмы для машинного обучения с учётом симметрии, и продемонстрировав, как это можно сделать, эти результаты могут привести к разработке новых архитектур нейронных сетей, которые могут быть более точными и менее ресурсоёмкими, чем текущие модели.
Учёные также могут использовать этот анализ как отправную точку для изучения внутренней работы GNN и того, как их операции отличаются от алгоритма, разработанного исследователями MIT.
«Как только мы это узнаем, мы сможем разработать более интерпретируемые, более надёжные и более эффективные архитектуры нейронных сетей», — добавляет Ашкане Солеймани.
Это исследование частично финансировалось Национальным исследовательским фондом Сингапура, национальными лабораториями DSO Сингапура, Управлением военно-морских исследований США, Национальным научным фондом США и стипендией Александра фон Гумбольдта.
1. Какие проблемы решает новое исследование учёных MIT в области машинного обучения?
Ответ: новое исследование учёных MIT решает проблему разработки вычислительно эффективного метода для обучения моделей машинного обучения, которые гарантированно учитывают симметрию в данных. До недавнего времени не было ясно, как создать такую модель, которая бы эффективно работала с симметричными данными и при этом была бы вычислительно эффективной.
2. Какие подходы существуют для обучения моделей машинного обучения работе с симметричными данными?
Ответ: существуют два основных подхода для обучения моделей машинного обучения работе с симметричными данными: аугментация данных и кодирование симметрии в архитектуре модели. Аугментация данных включает преобразование каждой симметричной точки данных во множество точек, чтобы помочь модели лучше обобщать новые данные. Кодирование симметрии в архитектуре модели включает использование графовых нейронных сетей (GNN), которые по своей природе обрабатывают симметричные данные из-за особенностей своей конструкции.
3. Какие преимущества могут предоставить модели машинного обучения, учитывающие симметрию?
Ответ: модели машинного обучения, учитывающие симметрию, могут работать быстрее и требовать меньше данных для обучения. Они также могут быть более точными и менее склонными к сбоям при работе с новыми симметричными данными в реальных ситуациях. Это может привести к разработке более мощных моделей машинного обучения, предназначенных для работы с симметрией, которые будут полезны в различных приложениях, таких как поиск новых материалов, выявление астрономических аномалий и расшифровка сложных климатических закономерностей.
4. Какие методы использовали учёные для разработки эффективного алгоритма машинного обучения с симметричными данными?
Ответ: учёные использовали идеи из алгебры, чтобы сократить и упростить задачу, затем переформулировали задачу, используя идеи из геометрии, которые эффективно отражают симметрию, и объединили алгебру и геометрию в задачу оптимизации, которую можно решить эффективно, получив в результате новый алгоритм.
5. Какие потенциальные последствия может иметь это исследование для разработки новых архитектур нейронных сетей?
Ответ: это исследование может привести к разработке новых архитектур нейронных сетей, которые могут быть более точными и менее ресурсоёмкими, чем текущие модели. Учёные также могут использовать этот анализ как отправную точку для изучения внутренней работы GNN и того, как их операции отличаются от алгоритма, разработанного исследователями MIT. Это может помочь разработать более интерпретируемые, более надёжные и более эффективные архитектуры нейронных сетей.