Этот браслет делает вас кукловодом роботов.
Роботы уже лучше людей справляются со многими задачами. Попробуйте обыграть систему с искусственным интеллектом в шахматы или продержаться дольше робота-сборщика, работающего в помещениях с радиацией, и вы, скорее всего, потерпите неудачу. Но даже при всех этих достижениях машины всё ещё с трудом справляются со многими, казалось бы, простыми задачами, особенно с теми, которые требуют тонких движений рук. Такая простая вещь, как очистить банан, не раздавив его, всё ещё считается сложной задачей для роботизированных систем, во многом потому, что исследователи не нашли способ точно передать сложность наших собственных человеческих рук. Новый наручный гаджет может это изменить.
На этой неделе команда инженеров из Массачусетского технологического института (MIT) представила браслет, который использует ультразвуковое изображение для постоянного мониторинга внутренней части запястья человека. Он делает ультразвуковые снимки, которые создают постоянную серию изображений, показывающих, как мышцы, сухожилия и связки владельца взаимодействуют друг с другом для создания жестов рук. Этот поток изображений затем связывается с алгоритмом искусственного интеллекта, который может интерпретировать изображения в режиме реального времени и передавать их роботизированной руке.
Используя эту систему, роботизированная рука повторяет мелкие жесты владельца браслета в режиме реального времени. Добровольцы, надевшие устройство, могли управлять роботизированной рукой, чтобы брать теннисные мячи, делать знаки руками и даже играть ноты на пианино. Инженеры, разработавшие браслет, считают, что это может быть самым передовым инструментом для обучения роботов использованию рук более по-человечески. Этот же метод можно применить и в цифровой среде, что означает, что будущие пользователи смогут управлять экраном телефона, даже не прикасаясь к нему, или взаимодействовать с виртуальной реальностью более погружённо. Команда опубликовала свои выводы в журнале Nature Electronics.
«Мы считаем, что эта работа окажет немедленное влияние, потенциально заменив методы отслеживания рук с помощью носимых ультразвуковых браслетов в виртуальной и дополненной реальности», — заявил профессор кафедры машиностроения MIT и соавтор исследования Сюаньхэ Чжао. «Это также может предоставить огромный объём тренировочных данных для ловких человекоподобных роботов».
**Пальцы как марионетка на верёвках**
Наручный гаджет использует «ультразвуковую наклейку» размером с умные часы, размещённую на запястье человека, которая, по сути, заглядывает под поверхность. Визуализируя микродвижения мышц и сухожилий под кожей, инженеры могли определить, как эти движения соответствуют определённым положениям пальцев. По их словам, сухожилия и мышцы подобны нитям, тянущим марионетку. В этом случае марионеткой являются пальцы и большой палец владельца. Каждое изображение, снятое с этих «нитей», соответствует определённому состоянию руки. Используя этот подход, команда смогла определить движения мышц и сухожилий, которые соответствуют всем 22 степеням свободы, которыми способна управлять человеческая рука.
Но сопоставить каждое из этих изображений с положением руки вручную просто невозможно. Чтобы решить эту задачу, команда разработала алгоритм искусственного интеллекта, обученный на ультразвуковых изображениях, тщательно размеченных людьми. Этот ИИ может быстро анализировать поступающие изображения и определять, какое положение руки они представляют. Используя этот метод, инженеры могут взять жесты, декодированные ИИ, и применить их к роботам и цифровым средам. Система оказалась достаточно точной, чтобы точно различать все 26 букв американского жестового языка. Она также могла интерпретировать щипковое движение, которое делал владелец, и перевести этот жест в команду масштабирования на экране.
«Мы считаем, что эти носимые ультразвуковые браслеты могут обеспечить интуитивно понятное и универсальное управление виртуальной реальностью и роботизированными руками», — добавил Чжао.
Заглядывая вперёд, команда хочет уменьшить размер устройства. Хотя они называют его наручным гаджетом, сопутствующая электроника в настоящее время делает его больше похожим на перчатку в стиле киберпанк, чем на Apple Watch. Они также планируют обучить свой ИИ ещё большему количеству жестов от более широкого круга добровольцев с разными размерами и формами рук. В конце концов, они надеются создать носимое устройство, которое сможет использовать практически любой человек для дистанционного управления роботами.