В следующий раз, когда вы будете листать телефон, уделите мгновение тому, чтобы оценить это достижение: кажущееся обыденным действие стало возможным благодаря координации 34 мышц, 27 суставов и более 100 сухожилий и связок в вашей руке. Действительно, наши руки — самые подвижные части тела. Имитация их многочисленных нюансов жестов была давней задачей в робототехнике и виртуальной реальности.
Теперь инженеры Массачусетского технологического института (MIT) разработали ультразвуковой браслет, который точно отслеживает движения рук пользователя в режиме реального времени. Браслет создаёт ультразвуковые изображения мышц, сухожилий и связок запястья при движении руки, и работает в паре с алгоритмом искусственного интеллекта (ИИ), который непрерывно переводит изображения в соответствующие положения пяти пальцев и ладони.
Исследователи могут научить браслет распознавать движения рук пользователя, которые устройство может передавать в режиме реального времени роботу или в виртуальную среду.
Как это работает
В демонстрациях команда показала, что человек, носящий браслет, может беспроводным образом управлять роботизированной рукой. Когда человек жестикулирует или указывает, робот делает то же самое. В своего рода беспроводном взаимодействии по типу марионеток пользователь может управлять роботом, чтобы сыграть простую мелодию на пианино и забросить маленький баскетбольный мяч в настольный обруч. С помощью того же браслета пользователь может манипулировать объектами на экране компьютера, например, сводить пальцы вместе, чтобы увеличить или уменьшить виртуальный объект.
Команда использует браслет для сбора данных о движениях рук множества пользователей с разными размерами рук, формами пальцев и жестами. Они планируют создать большой набор данных о движениях рук, который можно будет использовать, например, для обучения человекоподобных роботов выполнению точных манипуляций, таких как проведение определённых хирургических процедур. Ультразвуковой браслет также может быть использован для захвата, управления и взаимодействия с объектами в видеоиграх, дизайнерских приложениях или других виртуальных средах.
«Мы считаем, что эта работа позволит в перспективе заменить методы отслеживания рук с помощью носимых ультразвуковых браслетов в виртуальной и дополненной реальности», — говорит Сюаньхэ Чжао, профессор машиностроения в MIT. «Это также может предоставить огромные объёмы обучающих данных для человекоподобных роботов, выполняющих точные манипуляции».
Преодоление препятствий
В настоящее время существует несколько подходов к захвату и имитации ловкости рук человека в роботах. Некоторые подходы используют камеры для записи движений рук человека, когда он манипулирует объектами или выполняет задачи. Другие предполагают, что человек носит перчатку с датчиками, которая записывает движения рук и передаёт данные роботу-приёмнику. Но создание сложной системы камер для различных приложений нецелесообразно и чревато визуальными препятствиями. А перчатки с датчиками могут ограничивать естественные движения рук и ощущения человека.
Третий подход использует электрические сигналы от мышц запястья или предплечья, которые учёные затем соотносят с определёнными движениями рук. Исследователи добились значительных успехов в этом подходе, однако на эти сигналы легко влияет шум в окружающей среде. Они также недостаточно чувствительны, чтобы различать тонкие изменения в движениях. Например, они могут определить, сведены ли большой и указательный пальцы вместе или разведены, но не многое из промежуточных положений.
Команда Чжао задалась вопросом, может ли ультразвуковая визуализация фиксировать более ловкие и непрерывные движения рук. Его группа разрабатывает различные формы ультразвуковых наклеек — миниатюрные версии преобразователей, используемых в кабинетах врачей, которые соединены с гидрогелевым материалом, который может безопасно приклеиваться к коже.
В своём новом исследовании команда внедрила дизайн ультразвуковой наклейки в носимый браслет, чтобы непрерывно получать изображения мышц и сухожилий запястья.
«Сухожилия и мышцы на вашем запястье подобны нитям, тянущим марионеток, которыми являются ваши пальцы», — говорит Лу. «Идея в том, что каждый раз, когда вы делаете снимок состояния нитей, вы будете знать состояние руки».
Применение в виртуальной реальности
Команда разработала браслет с ультразвуковой наклейкой размером с умные часы и добавила бортовую электронику размером примерно с мобильный телефон. Они прикрепили браслет к запястью добровольца и убедились, что устройство создаёт чёткие и непрерывные изображения запястья, когда доброволец двигал пальцами в различных жестах.
Затем перед командой стояла задача соотнести чёрно-белые ультразвуковые изображения запястья с определёнными положениями руки. Оказалось, что пальцы и большой палец способны совершать 22 степени свободы, или различные способы вытягивания или наклона. Исследователи обнаружили, что они могут идентифицировать определённые области на своих ультразвуковых изображениях запястья, которые коррелируют с каждой из этих 22 степеней свободы. Например, изменения в одной области связаны с разгибанием большого пальца, а изменения в другой области коррелируют с движениями указательного пальца.
Чтобы установить эти связи, доброволец, носящий браслет, двигал рукой в различных положениях, пока исследователи записывали жесты с помощью нескольких камер, окружающих добровольца. Сопоставляя изменения в определённых областях ультразвуковых изображений с положениями рук, записанными камерами, команда могла пометить области изображения запястья соответствующими степенями свободы руки. Но выполнить этот перевод непрерывно и в режиме реального времени было бы непосильной задачей для человека.
Поэтому команда обратилась к искусственному интеллекту. Они использовали алгоритм ИИ, который можно обучить распознавать шаблоны изображений и соотносить их с конкретными метками и, в данном случае, с различными степенями свободы руки. Исследователи обучили алгоритм с помощью ультразвуковых изображений, которые они тщательно пометили, аннотируя области изображения, связанные с определённой степенью свободы. Они протестировали алгоритм на новом наборе ультразвуковых изображений и обнаружили, что он правильно предсказал соответствующие жесты рук.
После того как исследователи успешно объединили алгоритм ИИ с браслетом, они протестировали устройство на большем количестве добровольцев. В новом исследовании восемь добровольцев с разными размерами рук и запястий носили браслет, когда они формировали различные жесты рук и захваты, в том числе делали знаки для всех 26 букв американского жестового языка. Они также держали такие предметы, как теннисный мяч, пластиковая бутылка, ножницы и карандаш. В каждом случае браслет точно отслеживал и предсказывал положение руки.
Чтобы продемонстрировать потенциальные возможности применения, команда разработала простую компьютерную программу, которую они беспроводным образом соединили с браслетом. Когда пользователь сжимал и захватывал предметы, жесты соответствовали масштабированию объекта на экране компьютера и виртуальному перемещению и манипулированию им плавным и непрерывным образом.
Исследователи также протестировали браслет в качестве беспроводного контроллера простой коммерческой роботизированной руки. Во время ношения браслета доброволец жестикулировал, играя на клавиатуре. Робот, в свою очередь, имитировал движения в режиме реального времени, чтобы сыграть простую мелодию на пианино. Тот же робот мог имитировать нажатия пальцев человека, чтобы играть в настольный баскетбол.
Чжао планирует ещё больше миниатюризировать аппаратное обеспечение браслета, а также обучить программное обеспечение ИИ большему количеству жестов и движений от добровольцев с более разнообразными размерами и формами рук. В конечном итоге команда стремится создать носимый трекер рук, который сможет носить любой человек, чтобы беспроводным образом манипулировать человекоподобными роботами или виртуальными объектами с высокой ловкостью.
«Мы считаем, что это наиболее продвинутый способ отслеживания ловких движений рук с помощью носимой визуализации запястья», — говорит Чжао. «Мы думаем, что эти носимые ультразвуковые браслеты могут обеспечить интуитивно понятное и универсальное управление в виртуальной реальности и роботизированными руками».
Это исследование частично финансировалось MIT, Национальными институтами здравоохранения США, Национальным научным фондом США, Министерством обороны США и Национальным исследовательским фондом Сингапура через сингапурско-американский альянс в области исследований и технологий.
1. Какие проблемы решает ультразвуковой браслет, разработанный инженерами Массачусетского технологического института (MIT)?
Ультразвуковой браслет, разработанный инженерами MIT, решает проблему точного отслеживания движений рук пользователя в режиме реального времени. Он создаёт ультразвуковые изображения мышц, сухожилий и связок запястья при движении руки и работает в паре с алгоритмом искусственного интеллекта (ИИ), который непрерывно переводит изображения в соответствующие положения пяти пальцев и ладони. Это позволяет имитировать жесты человека в робототехнике и виртуальной реальности.
2. Какие преимущества имеет ультразвуковой браслет по сравнению с другими подходами к захвату и имитации ловкости рук человека в роботах?
Ультразвуковой браслет имеет несколько преимуществ по сравнению с другими подходами. Во-первых, он не требует сложной системы камер, что делает его более практичным для различных приложений. Во-вторых, он не ограничивает естественные движения рук и ощущения человека, как это могут делать перчатки с датчиками. В-третьих, он позволяет более точно фиксировать ловкие и непрерывные движения рук, что может быть полезно для выполнения точных манипуляций, таких как проведение хирургических процедур.
3. Какие возможности открывает использование ультразвукового браслета в виртуальной реальности?
Использование ультразвукового браслета в виртуальной реальности открывает новые возможности для взаимодействия с виртуальными объектами. Например, пользователь может манипулировать объектами на экране компьютера, сводить пальцы вместе, чтобы увеличить или уменьшить виртуальный объект. Браслет также может быть использован для захвата, управления и взаимодействия с объектами в видеоиграх, дизайнерских приложениях или других виртуальных средах.
4. Какие перспективы открывает разработка ультразвукового браслета для человекоподобных роботов?
Разработка ультразвукового браслета открывает перспективы для обучения человекоподобных роботов выполнению точных манипуляций. Браслет может использоваться для сбора данных о движениях рук множества пользователей с разными размерами рук, формами пальцев и жестами. Эти данные можно использовать для обучения роботов выполнению сложных задач, таких как проведение хирургических процедур.
5. Какие цели ставит перед собой команда исследователей, разрабатывающих ультразвуковой браслет?
Команда исследователей, разрабатывающих ультразвуковой браслет, ставит перед собой несколько целей. Во-первых, они стремятся создать носимый трекер рук, который сможет носить любой человек, чтобы беспроводным образом манипулировать человекоподобными роботами или виртуальными объектами с высокой ловкостью. Во-вторых, они планируют ещё больше миниатюризировать аппаратное обеспечение браслета, а также обучить программное обеспечение ИИ большему количеству жестов и движений от добровольцев с более разнообразными размерами и формами рук.