Многие инженерные задачи сводятся к одной и той же проблеме — слишком много параметров для настройки и слишком мало возможностей для их проверки. Будь то настройка электросети или разработка более безопасного транспортного средства, каждая оценка может быть дорогостоящей, а количество переменных, которые могут иметь значение, может исчисляться сотнями.
Рассмотрим проектирование безопасности автомобиля. Инженеры должны интегрировать тысячи деталей, и многие конструкторские решения могут повлиять на то, как автомобиль ведёт себя при столкновении. Классические инструменты оптимизации могут начать давать сбои при поиске наилучшей комбинации.
Исследователи из Массачусетского технологического института (MIT) разработали новый подход, который переосмысливает использование классического метода, известного как байесовская оптимизация, для решения задач с сотнями переменных. В тестах на реалистичных инженерных задачах, таких как оптимизация энергосистемы, этот подход находил оптимальные решения в 10–100 раз быстрее, чем широко используемые методы.
Их методика использует базовую модель, обученную на табличных данных, которая автоматически определяет наиболее важные переменные для улучшения производительности, повторяя процесс для поиска всё более совершенных решений. Базовые модели — это огромные системы искусственного интеллекта, обученные на обширных общих наборах данных. Это позволяет им адаптироваться к различным приложениям.
Исследовательская модель, работающая с таблицами, не нуждается в постоянном переобучении по мере приближения к решению, что повышает эффективность процесса оптимизации. Методика также обеспечивает большее ускорение для более сложных задач, поэтому она может быть особенно полезна в таких требовательных приложениях, как разработка материалов или открытие лекарств.
«Современные модели искусственного интеллекта и машинного обучения могут коренным образом изменить то, как инженеры и учёные создают сложные системы. Мы придумали один алгоритм, который может не только решать многомерные задачи, но и является многоразовым, поэтому его можно применять ко многим задачам без необходимости начинать всё с нуля», — говорит Розен Ю, аспирант в области вычислительных наук и инженерии и ведущий автор статьи об этом методе.
Розен Ю совместно с Сирилом Пикаром, бывшим постдоком MIT и научным сотрудником, и Фаэзом Ахмедом, доцентом кафедры машиностроения и ключевым членом Центра вычислительных наук и инженерии MIT, опубликовали статью об этом методе. Исследование будет представлено на Международной конференции по изучению представлений.
Улучшение проверенного метода
Когда учёные пытаются решить многогранную задачу, но у них есть дорогостоящие методы оценки успеха, например, краш-тестирование автомобиля, чтобы узнать, насколько хорош каждый проект, они часто используют проверенный метод, называемый байесовской оптимизацией. Этот итеративный метод находит наилучшую конфигурацию для сложной системы, создавая суррогатную модель, которая помогает оценить, что исследовать дальше, учитывая неопределённость своих прогнозов.
Но суррогатную модель необходимо переобучать после каждой итерации, что может быстро стать вычислительно неосуществимым, когда пространство потенциальных решений очень велико. Кроме того, учёным необходимо создавать новую модель с нуля каждый раз, когда они хотят решить другой сценарий.
Чтобы устранить оба недостатка, исследователи MIT использовали генеративную систему искусственного интеллекта, известную как табличная базовая модель, в качестве суррогатной модели внутри алгоритма байесовской оптимизации.
«Табличная базовая модель похожа на ChatGPT для электронных таблиц. Ввод и вывод этих моделей — табличные данные, которые в инженерной сфере гораздо чаще встречаются и используются, чем язык», — говорит Ю.
Подобно крупным языковым моделям, таким как ChatGPT, Claude и Gemini, модель была предварительно обучена на огромном количестве табличных данных. Это делает её хорошо подготовленной для решения ряда задач прогнозирования. Кроме того, модель можно развернуть как есть, без необходимости переобучения.
Чтобы сделать свою систему более точной и эффективной для оптимизации, исследователи использовали приём, который позволяет модели определять особенности пространства проектирования, которые будут иметь наибольшее влияние на решение.
«У автомобиля может быть 300 критериев проектирования, но не все из них являются основными факторами наилучшего дизайна, если вы пытаетесь повысить некоторые параметры безопасности. Наш алгоритм может разумно выбрать наиболее важные функции, на которых следует сосредоточиться», — говорит Ю.
Он делает это, используя табличную базовую модель для оценки того, какие переменные (или комбинации переменных) наиболее влияют на результат. Затем он фокусирует поиск на этих переменных, оказывающих большое влияние, вместо того чтобы тратить время на равномерный просмотр всех параметров.
Более масштабные задачи, более качественные решения
Одной из самых больших проблем для них было найти лучшую табличную базовую модель для этой задачи, говорит Ю. Затем им пришлось соединить её с алгоритмом байесовской оптимизации таким образом, чтобы она могла определить наиболее выдающиеся конструктивные особенности.
«Найти наиболее выдающееся измерение — известная проблема в математике и информатике, но придумать способ, который бы использовал свойства табличной базовой модели, было настоящей задачей», — говорит Ю.
С алгоритмической структурой на месте исследователи протестировали свой метод, сравнив его с пятью современными алгоритмами оптимизации.
На 60 эталонных задачах, включая реалистичные ситуации, такие как проектирование энергосистемы и краш-тестирование автомобилей, их метод последовательно находил лучшее решение в 10–100 раз быстрее, чем другие алгоритмы.
«Когда задача оптимизации становится всё более многомерной, наш алгоритм действительно сияет», — добавил Ю.
Но их метод не превзошёл базовые алгоритмы по всем задачам, например, при планировании пути робота. Это, вероятно, указывает на то, что этот сценарий не был должным образом определён в обучающих данных модели, говорит Ю.
В будущем исследователи хотят изучить методы, которые могли бы повысить производительность табличных базовых моделей. Они также хотят применить свою методику к задачам с тысячами или даже миллионами измерений, например, при проектировании военно-морского корабля.
«На более высоком уровне эта работа указывает на более широкий сдвиг: использование базовых моделей не только для восприятия или языка, но и в качестве алгоритмических механизмов внутри научных и инженерных инструментов, позволяющих классическим методам, таким как байесовская оптимизация, масштабироваться до режимов, которые ранее были непрактичными», — говорит Ахмед.
«Подход, представленный в этой работе, с использованием предварительно обученной базовой модели вместе с высокоразмерной байесовской оптимизацией, является творческим и многообещающим способом снижения высоких требований к данным при проектировании на основе моделирования. В целом, эта работа является практическим и мощным шагом к тому, чтобы сделать расширенную оптимизацию проектирования более доступной и лёгкой в применении в реальных условиях», — говорит Вэй Чен, профессор Уилсона-Кука в области инженерного проектирования и заведующий кафедрой машиностроения в Северо-Западном университете, который не участвовал в этом исследовании.
1. Какие проблемы решает новый подход, разработанный исследователями из Массачусетского технологического института (MIT)?
Новый подход, разработанный исследователями MIT, решает проблему оптимизации сложных инженерных систем с сотнями переменных. Он использует базовую модель, обученную на табличных данных, которая автоматически определяет наиболее важные переменные для улучшения производительности и находит оптимальные решения в 10–100 раз быстрее, чем широко используемые методы.
2. В чём заключается преимущество использования табличной базовой модели в качестве суррогатной модели внутри алгоритма байесовской оптимизации?
Преимущество использования табличной базовой модели заключается в том, что она может быть предварительно обучена на огромном количестве табличных данных и развёрнута как есть, без необходимости переобучения. Это делает её хорошо подготовленной для решения ряда задач прогнозирования и позволяет определить особенности пространства проектирования, которые будут иметь наибольшее влияние на решение.
3. Какие результаты были получены при тестировании метода на эталонных задачах?
При тестировании метода на 60 эталонных задачах, включая реалистичные ситуации, такие как проектирование энергосистемы и краш-тестирование автомобилей, метод последовательно находил лучшее решение в 10–100 раз быстрее, чем другие алгоритмы. Однако метод не превзошёл базовые алгоритмы по всем задачам, например, при планировании пути робота.
4. Какие перспективы развития исследования обозначены в статье?
В будущем исследователи хотят изучить методы, которые могли бы повысить производительность табличных базовых моделей. Они также хотят применить свою методику к задачам с тысячами или даже миллионами измерений, например, при проектировании военно-морского корабля.
5. Как использование базовых моделей может изменить подход к оптимизации проектирования?
Использование базовых моделей может изменить подход к оптимизации проектирования, позволяя классическим методам, таким как байесовская оптимизация, масштабироваться до режимов, которые ранее были непрактичными. Это может сделать расширенную оптимизацию проектирования более доступной и лёгкой в применении в реальных условиях.