В офисе Лаборатории компьютерных наук и искусственного интеллекта MIT (CSAIL) мягкая роботизированная рука аккуратно сгибает пальцы, чтобы взять небольшой предмет. Интересная деталь заключается не в механическом дизайне или встроенных датчиках — на самом деле, в руке их нет. Вместо этого вся система полагается на одну камеру, которая следит за движениями робота и использует эти визуальные данные для управления им.
Эта возможность появилась благодаря новой системе, разработанной учёными CSAIL. Она предлагает новый взгляд на управление роботами. Вместо использования специально разработанных моделей или сложных массивов датчиков она позволяет роботам учиться тому, как их тела реагируют на команды управления, исключительно с помощью зрения.
Подход, получивший название Neural Jacobian Fields (NJF), даёт роботам своего рода осознание своего тела. Статья об этой работе была опубликована в журнале Nature 25 июня.
«Эта работа указывает на переход от программирования роботов к их обучению», — говорит Сижэ Лестер Ли, аспирант MIT в области электротехники и компьютерных наук, сотрудник CSAIL и ведущий исследователь в этой области. «Сегодня многие задачи робототехники требуют тщательной разработки и программирования. В будущем мы предполагаем, что будем показывать роботу, что делать, и позволим ему научиться достигать цели автономно».
Взгляд и обучение
Этот отказ от моделирования и аппаратного дизайна может значительно расширить пространство для проектирования в робототехнике. В мягких и биоинспирированных роботах дизайнеры часто встраивают датчики или усиливают части конструкции, чтобы сделать моделирование возможным. NJF устраняет это ограничение. Системе не нужны встроенные датчики или конструктивные изменения, чтобы сделать управление возможным. Дизайнеры могут свободно исследовать нетрадиционные, неограниченные морфологии, не беспокоясь о том, смогут ли они смоделировать или управлять ими позже.
«Подумайте о том, как вы учитесь управлять своими пальцами: вы шевелите ими, наблюдаете, адаптируетесь», — говорит Ли. «Именно это делает наша система. Она экспериментирует со случайными действиями и выясняет, какие элементы управления управляют какими частями робота».
Система оказалась надёжной для различных типов роботов. Команда протестировала NJF на пневматической мягкой роботизированной руке, способной сжимать и хватать, на жёсткой руке Allegro, на роботизированной руке, напечатанной на 3D-принтере, и даже на вращающейся платформе без встроенных датчиков. В каждом случае система изучала форму робота и то, как он реагировал на сигналы управления, только с помощью зрения и случайных движений.
Исследователи видят потенциал далеко за пределами лаборатории. Роботы, оснащённые NJF, однажды смогут выполнять сельскохозяйственные задачи с точностью локализации до сантиметра, работать на строительных площадках без сложных массивов датчиков или перемещаться в динамических средах, где традиционные методы неэффективны.
Будущее — за мягкими роботами
В основе NJF лежит нейронная сеть, которая фиксирует два взаимосвязанных аспекта воплощения робота: его трёхмерную геометрию и чувствительность к управляющим воздействиям.
Для обучения модели робот выполняет случайные движения, пока несколько камер записывают результаты. Человеческое наблюдение или предварительные знания о структуре робота не требуются — система просто определяет взаимосвязь между управляющими сигналами и движением, наблюдая за ними.
После завершения обучения роботу нужна только одна монокулярная камера для управления в режиме реального времени с частотой около 12 герц. Это позволяет ему непрерывно наблюдать за собой, планировать и действовать. Такая скорость делает NJF более жизнеспособным, чем многие физические симуляторы для мягких роботов, которые часто требуют слишком много вычислительных ресурсов для использования в реальном времени.
Будущее мягких роботов
В течение десятилетий робототехника отдавала предпочтение жёстким, легко моделируемым машинам — таким как промышленные манипуляторы, используемые на заводах, — потому что их свойства упрощают управление. Но область движется в сторону мягких, биоинспирированных роботов, которые могут более гибко адаптироваться к реальному миру.
«Сегодня робототехника часто кажется недоступной из-за дорогостоящих датчиков и сложного программирования. Наша цель с помощью Neural Jacobian Fields — снизить барьер, сделав робототехнику доступной, адаптируемой и доступной для большего числа людей», — говорит старший автор и доцент MIT Винсент Ситцман, возглавляющий группу по представлению сцен. «Зрение — это надёжный датчик».
«Одно только зрение может предоставить подсказки, необходимые для локализации и управления, устраняя необходимость в GPS, внешних системах слежения или сложных встроенных датчиках. Это открывает дверь для надёжного адаптивного поведения в неструктурированных средах», — говорит соавтор Даниэла Рус, профессор MIT в области электротехники и компьютерных наук и директор CSAIL.
Хотя для обучения NJF в настоящее время требуется несколько камер и его необходимо переделывать для каждого робота, исследователи уже представляют себе более доступную версию. В будущем любители могут записывать случайные движения робота на свой телефон, как вы записываете видео с арендованным автомобилем перед поездкой, и использовать эти кадры для создания модели управления без каких-либо предварительных знаний или специального оборудования.
Система ещё не обобщает опыт, полученный с разными роботами, и ей не хватает силового или тактильного восприятия, что ограничивает её эффективность при выполнении задач, требующих контакта. Но команда изучает новые способы решения этих ограничений: улучшение обобщения, обработка окклюзий и расширение способности модели рассуждать в более длительных пространственных и временных горизонтах.
«Подобно тому, как люди развивают интуитивное понимание того, как их тело движется и реагирует на команды, NJF даёт роботам своего рода осознание своего тела с помощью одного только зрения», — говорит Ли. «Это понимание является основой для гибкого манипулирования и управления в реальных условиях. Наша работа, по сути, отражает более широкую тенденцию в робототехнике: переход от ручного программирования подробных моделей к обучению роботов с помощью наблюдения и взаимодействия».
Эта статья объединила работу лаборатории Ситцмана в области компьютерного зрения и самообучающегося обучения и опыт лаборатории Рус в области мягких роботов. Ли, Ситцман и Рус стали соавторами статьи с сотрудниками CSAIL: Аннан Чжан SM ’22, аспирантом в области электротехники и компьютерных наук (EECS); Боюань Чен, аспирантом в EECS; Ханной Матусик, студентом-исследователем в области машиностроения; и Чао Лю, постдоком в лаборатории ощутимых городов в MIT.
Исследование было поддержано Фондом исследований Соломона Бухсбаума через Комитет по поддержке исследований MIT, президентской стипендией MIT, Национальным научным фондом и Институтом науки и технологий в Кванджу.
1. Какие преимущества предоставляет система Neural Jacobian Fields (NJF) в управлении роботами по сравнению с традиционными методами?
Ответ: NJF позволяет роботам учиться тому, как их тела реагируют на команды управления, исключительно с помощью зрения. Это устраняет необходимость в сложных моделях и массивах датчиков, что может значительно расширить пространство для проектирования в робототехнике.
2. Какие типы роботов были протестированы с использованием системы NJF, и какие результаты были получены?
Ответ: Команда протестировала NJF на пневматической мягкой роботизированной руке, способной сжимать и хватать, на жёсткой руке Allegro, на роботизированной руке, напечатанной на 3D-принтере, и даже на вращающейся платформе без встроенных датчиков. В каждом случае система изучала форму робота и то, как он реагировал на сигналы управления, только с помощью зрения и случайных движений.
3. Какие потенциальные применения роботов, оснащённых NJF, видятся исследователям за пределами лаборатории?
Ответ: Исследователи видят потенциал в использовании роботов, оснащённых NJF, для выполнения сельскохозяйственных задач с точностью локализации до сантиметра, работы на строительных площадках без сложных массивов датчиков или перемещения в динамических средах, где традиционные методы неэффективны.
4. Какие ограничения существуют у текущей версии системы NJF, и какие направления исследований рассматриваются для их преодоления?
Ответ: Для обучения NJF в настоящее время требуется несколько камер и его необходимо переделывать для каждого робота. Также системе не хватает силового или тактильного восприятия, что ограничивает её эффективность при выполнении задач, требующих контакта. Исследователи изучают новые способы улучшения обобщения, обработки окклюзий и расширения способности модели рассуждать в более длительных пространственных и временных горизонтах.
5. Какие перспективы открывает использование NJF для любителей и энтузиастов робототехники?
Ответ: В будущем любители могут записывать случайные движения робота на свой телефон и использовать эти кадры для создания модели управления без каких-либо предварительных знаний или специального оборудования. Это может сделать робототехнику более доступной и адаптируемой для большего числа людей.