Автономный дрон, доставляющий воду для тушения лесных пожаров в Сьерра-Неваде, может столкнуться со свирепыми ветрами Санта-Ана, которые угрожают сбить его с курса. Быстрая адаптация к таким неизвестным возмущениям в полёте представляет огромную сложность для системы управления дроном.
Адаптивный алгоритм управления на основе машинного обучения
Чтобы помочь дрону сохранять курс, исследователи из Массачусетского технологического института (MIT) разработали новый адаптивный алгоритм управления на основе машинного обучения. Этот алгоритм минимизирует отклонение дрона от заданной траектории в условиях непредсказуемых сил, таких как порывистый ветер.
В отличие от стандартных подходов, новая методика не требует от человека, программирующего автономный дрон, заранее знать что-либо о структуре этих неопределённых возмущений. Вместо этого модель искусственного интеллекта системы управления обучается всему необходимому на основе небольшого объёма данных наблюдений, собранных за 15 минут полёта.
Важно отметить, что методика автоматически определяет, какой алгоритм оптимизации использовать для адаптации к возмущениям, что улучшает производительность отслеживания. Она выбирает алгоритм, который наилучшим образом соответствует геометрии конкретных возмущений, с которыми сталкивается дрон.
Исследователи обучают свою систему управления делать обе вещи одновременно, используя технику, называемую метаобучением, которая учит систему, как адаптироваться к различным типам возмущений.
В совокупности эти компоненты позволяют их адаптивной системе управления достигать на 50% меньшей погрешности отслеживания траектории, чем базовые методы в симуляциях, и лучше работать с новыми скоростями ветра, которые дрон не видел во время обучения.
Выбор правильного алгоритма
Обычно система управления включает в себя функцию, которая моделирует дрон и его окружение, и содержит некоторую существующую информацию о структуре потенциальных возмущений. Но в реальном мире, полном неопределённых условий, часто невозможно заранее спроектировать эту структуру.
Многие системы управления используют метод адаптации, основанный на популярном алгоритме оптимизации, известном как градиентный спуск, чтобы оценить неизвестные части задачи и определить, как удерживать дрон как можно ближе к заданной траектории во время полёта. Однако градиентный спуск — это лишь один алгоритм из более широкого семейства алгоритмов, доступных для выбора, известный как зеркальный спуск.
Исследователи заменили функцию, содержащую некоторую структуру потенциальных возмущений, моделью нейронной сети, которая учится аппроксимировать их на основе данных. Таким образом, им не нужно иметь априорную структуру скоростей ветра, с которыми этот дрон может столкнуться заранее.
Их метод также использует алгоритм для автоматического выбора правильной функции зеркального спуска при обучении модели нейронной сети на основе данных, а не предполагает, что у пользователя уже есть идеальная функция. Исследователи предоставляют этому алгоритму ряд функций для выбора, и он находит ту, которая наилучшим образом соответствует поставленной задаче.
Обучение адаптации
Хотя скорости ветра, с которыми может столкнуться дрон, могут меняться каждый раз, когда он взлетает, нейронная сеть контроллера и зеркальная функция должны оставаться прежними, чтобы их не нужно было пересчитывать каждый раз.
Чтобы сделать своего контроллера более гибким, исследователи используют метаобучение, обучая его адаптироваться, показывая ему ряд семейств скоростей ветра во время обучения.
В итоге пользователь подаёт системе управления целевую траекторию, и она непрерывно пересчитывает в режиме реального времени, как дрон должен создавать тягу, чтобы оставаться как можно ближе к этой траектории, учитывая неопределённые возмущения, с которыми он сталкивается.
В ходе как симуляций, так и реальных экспериментов исследователи показали, что их метод привёл к значительно меньшей погрешности отслеживания траектории, чем базовые подходы при каждой протестированной скорости ветра.
Команда сейчас проводит аппаратные эксперименты, чтобы протестировать свою систему управления на реальных дронах в различных ветровых условиях и других возмущениях.
Они также хотят расширить свой метод, чтобы он мог справляться с возмущениями из нескольких источников одновременно. Например, изменение скорости ветра может привести к тому, что вес груза, который несёт дрон, изменится в полёте, особенно когда дрон перевозит жидкости, склонных к выплескиванию.
Исследователи также хотят изучить непрерывное обучение, чтобы дрон мог адаптироваться к новым возмущениям без необходимости переобучения на данных, которые он уже видел.
«Навид и его соавторы разработали прорывную работу, которая сочетает метаобучение с традиционным адаптивным управлением для изучения нелинейных характеристик на основе данных. Ключевым элементом их подхода является использование методов зеркального спуска, которые используют основную геометрию задачи способами, недоступными для предыдущих методов. Их работа может внести значительный вклад в проектирование автономных систем, которым необходимо работать в сложных и неопределённых условиях», — говорит Баба Хассиби, профессор электротехники и вычислительных и математических наук в Калифорнийском технологическом институте (Caltech), который не участвовал в этой работе.
Это исследование частично финансировалось MathWorks, MIT-IBM Watson AI Lab, MIT-Amazon Science Hub и MIT-Google Program for Computing Innovation.