Генеративный искусственный интеллект и робототехника приближают тот день, когда мы сможем попросить создать объект, и он будет готов за несколько минут. Исследователи MIT разработали систему преобразования речи в реальность — это рабочий процесс на основе ИИ, который позволяет им управлять роботизированной рукой и «воплощать объекты в реальность», создавая, например, мебель всего за пять минут ✨
Как работает система
Система преобразования речи в реальность использует роботизированную руку, установленную на столе. Она получает устный ввод от человека, например: «Я хочу простой табурет», — и затем собирает объекты из модульных компонентов.
На данный момент исследователи использовали систему для создания табуретов, полок, стульев, небольшого стола и даже декоративных предметов, таких как статуэтка собаки 🐶
«Мы соединяем обработку естественного языка, 3D-генеративный ИИ и роботизированную сборку», — говорит Александр Хтет Кьяу, аспирант MIT и научный сотрудник Академии дизайна Морнингсайд (MAD). «Это быстро развивающиеся области исследований, которые раньше не объединялись таким образом, чтобы можно было создавать физические объекты из простой речевой подсказки».
Начало идеи
Идея возникла, когда Кьяу, аспирант факультетов архитектуры, электротехники и компьютерных наук, проходил курс профессора Нила Гершенфельда «Как сделать почти всё». В рамках этого курса он создал систему преобразования речи в реальность. Он продолжил работу над проектом в Центре битов и атомов MIT (CBA) под руководством Гершенфельда, сотрудничая с аспирантами Се Хваном Джон из Департамента машиностроения и Мианой Смит из CBA.
Система преобразования речи в реальность начинается со распознавания речи, которое обрабатывает запрос пользователя с помощью большой языковой модели. Затем 3D-генеративный ИИ создаёт цифровое представление объекта в виде сетки, а алгоритм вокселизации разбивает 3D-сетку на компоненты сборки.
После этого геометрическая обработка модифицирует сборку, созданную ИИ, с учётом производственных и физических ограничений, связанных с реальным миром, таких как количество компонентов, выступы и связность геометрии. Затем создаётся последовательность сборки и автоматизированное планирование маршрута для роботизированной руки, чтобы собирать физические объекты по подсказкам пользователя.
Доступность и скорость
Используя естественный язык, система делает проектирование и производство более доступными для людей, не имеющих опыта в 3D-моделировании или программировании роботов. И, в отличие от 3D-печати, которая может занять часы или дни, эта система работает за минуты.
«Этот проект — это интерфейс между людьми, ИИ и роботами для совместного создания мира вокруг нас», — говорит Кьяу. «Представьте себе сценарий, когда вы говорите: „Я хочу стул“, — и через пять минут перед вами материализуется физический стул».
Команда планирует улучшить несущую способность мебели, изменив способ соединения кубов с помощью магнитов на более надёжные соединения.
«Мы также разработали конвейеры для преобразования воксельных структур в последовательности сборки для небольших распределённых мобильных роботов, которые могут помочь применить эту работу к структурам любого масштаба», — говорит Смит.
Цель использования модульных компонентов
Цель использования модульных компонентов — исключить отходы, которые возникают при изготовлении физических объектов, путём их разборки и последующей сборки в нечто другое, например, превращение дивана в кровать, когда диван больше не нужен.
Поскольку Кьяу также имеет опыт использования распознавания жестов и дополненной реальности для взаимодействия с роботами в процессе изготовления, он в настоящее время работает над включением речевого и жестового управления в систему преобразования речи в реальность.
Опираясь на свои воспоминания о репликаторе из франшизы «Звёздный путь» и роботах из анимационного фильма «Большой герой 6», Кьяу объясняет своё видение.
«Я хочу расширить доступ людей к созданию физических объектов быстро, доступно и устойчиво, — говорит он. — Я работаю над будущим, в котором сама суть материи будет под вашим контролем. В котором реальность можно будет генерировать по запросу».
Команда представила свою статью «Speech to Reality: On-Demand Production using Natural Language, 3D Generative AI, and Discrete Robotic Assembly» на симпозиуме Ассоциации вычислительной техники (ACM) по вычислительному производству (SCF ’25), который пройдёт в MIT 21 ноября.
1. Какие технологии используются в системе преобразования речи в реальность, разработанной исследователями MIT?
В системе преобразования речи в реальность используются следующие технологии: обработка естественного языка, 3D-генеративный ИИ, роботизированная сборка.
2. Какие объекты уже были созданы с помощью этой системы?
С помощью системы преобразования речи в реальность уже были созданы табуреты, полки, стулья, небольшой стол и декоративные предметы, такие как статуэтка собаки.
3. Какие преимущества имеет система преобразования речи в реальность по сравнению с 3D-печатью?
Система преобразования речи в реальность работает за минуты, в отличие от 3D-печати, которая может занять часы или дни. Кроме того, система делает проектирование и производство более доступными для людей, не имеющих опыта в 3D-моделировании или программировании роботов.
4. Какие цели преследует команда исследователей при использовании модульных компонентов в своей системе?
Цель использования модульных компонентов — исключить отходы, которые возникают при изготовлении физических объектов, путём их разборки и последующей сборки в нечто другое.
5. Какие новые возможности для взаимодействия с роботами в процессе изготовления рассматривает Кьяу в рамках своей работы?
Кьяу рассматривает возможность включения речевого и жестового управления в систему преобразования речи в реальность.