Научно-исследовательская лаборатория Reality Labs компании Meta разработала устройство, которое позволяет пользователям взаимодействовать с компьютерами, используя только жесты рук.
Устройство надевается на запястье как браслет и считывает электрические сигналы, генерируемые при движении мышц. Затем эти сигналы преобразуются в команды, которые передаются на компьютер по Bluetooth.
Традиционные и новые способы взаимодействия с компьютерами
Клавиатуры, сенсорные панели и компьютерные мыши десятилетиями были основными средствами взаимодействия с компьютерами, но не у всех есть физические возможности для их использования. Людям со смартфонами, умными часами и умными очками также могут потребоваться новые способы управления устройствами без необходимости переключения внимания на сенсорный экран.
Новый «нейромоторный интерфейс» может решить эти проблемы.
«Мы выбрали запястье, потому что люди в основном взаимодействуют с миром руками, а запястье обеспечивает широкий охват сигналов sEMG мышц руки, запястья и предплечья», — пишут исследователи в статье, посвящённой технологии, в журнале Nature.
Принцип работы устройства
Устройство основано на «поверхностной электромиографии» (sEMG), которая фиксирует мышечную активность с помощью металлических электродов на коже.
Браслет неинвазивен, его легко надевать и снимать, в отличие от предыдущих разработок в области интерфейсов «мозг — компьютер», которые взаимодействуют напрямую с мозговой тканью или требуют длительной настройки.
Исследователи привлекли более 6 600 участников для выполнения трёх различных виртуальных заданий в то время, как на них было надето устройство sEMG.
В первом задании участники управляли компьютерным курсором, используя угол своих запястий. Во втором — им было предложено выполнить 9 различных жестов руками в случайном порядке. В финальном задании по написанию текста участники должны были сжимать пальцы вместе, как будто держа воображаемую ручку, чтобы имитировать написание предложений по подсказке.
Эти данные затем использовались для обучения моделей глубокого обучения, чтобы преобразовать сигналы sEMG в предназначенные для компьютера входные данные.
Важно отметить, что большой объём обучающих данных позволил моделям точно интерпретировать команды множества людей. Они могут учитывать различия в анатомии, физиологии и поведении без необходимости проведения трудоёмких этапов калибровки.
После обучения другая группа участников смогла выполнить виртуальные задания, используя только декодеры sEMG, хотя они работали лучше, используя обычные интерфейсы.
Авторы утверждают, что эти традиционные интерфейсы «не могут выполнять ту же роль, что и всегда доступный браслет sEMG».
«Они требуют громоздкого оборудования: для отслеживания углов запястья требуются несколько откалиброванных камер, использование трекпада ноутбука или игрового контроллера стесняет руку, а для письма требуется ручка, бумага и поверхность», — пишут они.
«Для задач, в которых важна постоянная доступность (например, в сценариях, когда вы находитесь в движении), снижение производительности текущих декодеров может быть приемлемым».
Они добавляют, что декодирование sEMG, вероятно, будет улучшаться за счёт инноваций в области сенсоров, улучшения моделей и развития навыков пользователей с течением времени.
«Мы ожидаем, что навыки пользователей будут расти по мере того, как они будут всё больше знакомиться с sEMG-RD и лежащими в его основе жестами», — отмечают исследователи.
Браслет также может предложить способ общения с компьютерами для людей с ограниченными возможностями передвижения.
«В клинике возможность разработки схем взаимодействия, требующих лишь минимальной мышечной активности, а не выполнения определённого движения, может обеспечить жизнеспособные схемы взаимодействия для людей с ограниченной подвижностью, мышечной слабостью или полным отсутствием эффекторов», — пишут они.
«Неясно, смогут ли обобщённые модели, разработанные здесь и обученные на участниках с полноценными возможностями, быть адаптированы к клиническим группам, хотя ранние результаты кажутся многообещающими».
«Новые приложения будут способствовать… всё более разнообразным наборам данных, охватывающим группы населения с двигательными нарушениями и потенциально сочетающимся с другими сигналами, записанными на запястье».