Компания Nvidia произвела фурор на SIGGRAPH 2025, представив набор новых мировых моделей Cosmos, надёжные библиотеки моделирования и передовую инфраструктуру — всё это предназначено для ускорения развития физической ИИ-среды в робототехнике, автономных транспортных средствах и промышленных приложениях.
Модели фундаментального мира Cosmos: рассуждения для роботов
В основе анонса лежит Cosmos Reason — модель рассуждений с языковым интерфейсом и 7 миллиардами параметров. Этот ИИ разработан для роботов и воплощённых агентов, решающих реальные задачи.
Память и понимание физики: Cosmos Reason включает в себя усовершенствованную память для пространственного и временного анализа, а также понимание физических законов. Это позволяет роботам и ИИ-агентам планировать пошаговые действия в сложных условиях — идеально подходит для курирования данных, планирования работы роботов и видеоаналитики.
Возможности планирования: модель подаёт структурированные видео- и сенсорные данные (например, карты сегментации и LIDAR) в механизм рассуждений, который решает, какие действия должен предпринять агент дальше. Она поддерживает как анализ высокоуровневых инструкций, так и генерацию низкоуровневых действий, имитируя человеческую логику для навигации и манипулирования.
Модели переноса Cosmos: ускорение генерации синтетических данных
Cosmos Transfer-2: ускоряет генерацию синтетических наборов данных из сцен 3D-моделирования или пространственных управляющих входов, значительно сокращая время и затраты на создание реалистичных обучающих данных для роботов. Это особенно полезно для обучения с подкреплением и проверки моделей политики, где необходимо моделировать граничные случаи, разнообразное освещение и погодные сценарии в масштабе.
Дистиллированный вариант переноса: оптимизирован для скорости, позволяя разработчикам быстро выполнять итерации при создании наборов данных.
Практическое влияние
Семейство моделей Cosmos WFM охватывает три категории (Nano, Super, Ultra) с количеством параметров от 4 миллиардов до 14 миллиардов и может быть настроена для различных задержек, точности и вариантов использования — от потоковой передачи в реальном времени до фотореалистичного рендеринга.
Библиотеки моделирования и рендеринга: создание виртуальных миров для обучения
Платформа Nvidia Omniverse получила серьёзное обновление, в которое вошли:
* Библиотеки нейронной реконструкции: эти инструменты позволяют разработчикам импортировать сенсорные данные и моделировать физический мир в 3D с реалистичным фотореализмом на основе нейронных методов рендеринга.
* Интеграция с OpenUSD и симулятором CARLA: добавление новых инструментов преобразования и возможностей рендеринга помогает стандартизировать сложные рабочие процессы моделирования, упрощая взаимодействие между робототехническими платформами (например, Mujoco) и конвейером на основе USD от Nvidia.
* Библиотека материалов SimReady: предлагает тысячи материалов-подложек для создания высокореалистичных виртуальных сред, повышая точность обучения робототехнике и моделирования.
* Isaac Sim 5.0.0: в движок моделирования Nvidia теперь включены усовершенствованные модели исполнительных механизмов, более широкая поддержка Python и ROS, а также новый нейронный рендеринг для улучшения синтетических данных.
Инфраструктура для робототехнических рабочих процессов
* RTX Pro Blackwell Servers: специально созданы для рабочих нагрузок по разработке робототехники, обеспечивая унифицированную архитектуру для задач моделирования, обучения и вывода.
* DGX Cloud: позволяет управлять роботами и масштабировать рабочие процессы физического ИИ в облаке, чтобы команды могли разрабатывать, обучать и развёртывать ИИ-агентов удалённо.
Принятие в отрасли и открытые инновации
Лидеры отрасли, включая Amazon Devices, Agility Robotics, Figure AI, Uber, Boston Dynamics и другие, уже тестируют модели Cosmos и инструменты Omniverse для генерации обучающих данных, создания цифровых двойников и ускорения внедрения робототехники в производство, транспорт и логистику.
Модели Cosmos широко доступны через API Nvidia и каталоги разработчиков с разрешительной лицензией, поддерживающей как исследования, так и коммерческое использование.
Новая эра физического ИИ
Видение Nvidia ясно: физический ИИ — это комплексная задача, требующая более умных моделей, более богатого моделирования и масштабируемой инфраструктуры. С набором моделей Cosmos, библиотеками Omniverse и серверами на базе Blackwell Nvidia сокращает разрыв между виртуальным обучением и реальным развёртыванием, уменьшая затраты на метод проб и ошибок и открывая новые уровни автономии для роботов и интеллектуальных агентов.
Ознакомьтесь с технической статьёй в блоге NVIDIA. Не стесняйтесь посетить нашу страницу на GitHub, чтобы узнать о руководствах, кодах и ноутбуках. Также подписывайтесь на нас в Twitter и присоединяйтесь к нашему сообществу в ML SubReddit (более 100 тысяч участников) и подписывайтесь на нашу рассылку.
1. Какие новые модели искусственного интеллекта представила компания Nvidia на SIGGRAPH 2025?
На SIGGRAPH 2025 компания Nvidia представила набор новых мировых моделей Cosmos, включая модель рассуждений Cosmos Reason с языковым интерфейсом и 7 миллиардами параметров.
2. Какие возможности предоставляет модель Cosmos Reason для роботов и ИИ-агентов?
Модель Cosmos Reason предоставляет роботам и ИИ-агентам возможности пространственного и временного анализа, понимания физических законов, планирования пошаговых действий в сложных условиях, анализа высокоуровневых инструкций и генерации низкоуровневых действий.
3. Какие инструменты и библиотеки моделирования включены в обновление платформы Nvidia Omniverse?
В обновление платформы Nvidia Omniverse включены библиотеки нейронной реконструкции, интеграция с OpenUSD и симулятором CARLA, библиотека материалов SimReady и Isaac Sim 5.0.0 с усовершенствованными моделями исполнительных механизмов, поддержкой Python и ROS, а также новым нейронным рендерингом.
4. Какие цели преследует Nvidia, разрабатывая и представляя модели Cosmos и инструменты Omniverse?
Nvidia стремится сократить разрыв между виртуальным обучением и реальным развёртыванием роботов и интеллектуальных агентов, уменьшить затраты на метод проб и ошибок и открыть новые уровни автономии для этих систем.
5. Какие компании уже тестируют модели Cosmos и инструменты Omniverse?
Модели Cosmos и инструменты Omniverse уже тестируют такие компании, как Amazon Devices, Agility Robotics, Figure AI, Uber, Boston Dynamics и другие.