Когда Билл Дэлли присоединился к исследовательской лаборатории Nvidia в 2009 году, в ней работало всего около дюжины сотрудников, а основным направлением была трассировка лучей — технология рендеринга в компьютерной графике.
Теперь эта некогда скромная лаборатория насчитывает более 400 специалистов, которые помогли превратить Nvidia из стартапа по производству игровых GPU в компанию стоимостью $4 трлн, ставшую движущей силой бума искусственного интеллекта.
Сегодня исследовательское подразделение компании сосредоточено на разработке технологий для робототехники и ИИ. Некоторые из этих наработок уже внедряются в продукты. В понедельник Nvidia представила новую серию мировых ИИ-моделей, библиотек и инфраструктуры для разработчиков роботов.
Дэлли, ныне главный научный сотрудник Nvidia, начал консультировать компанию в 2003 году, ещё работая в Стэнфорде. Спустя несколько лет, когда он планировал уйти с поста главы кафедры компьютерных наук и взять творческий отпуск, Nvidia предложила ему постоянную позицию.
Дэвид Кирк, тогда возглавлявший лабораторию, и CEO Nvidia Дженсен Хуанг убедили его присоединиться. «Это оказалось идеальным сочетанием для моих интересов и талантов», — сказал Дэлли.
Став главой лаборатории в 2009 году, он начал с расширения. Исследователи взялись за разработки за пределами трассировки лучей, включая проектирование схем и VLSI (сверхбольшую интеграцию). Лаборатория продолжала расти, а познее сфокусировалась на GPU для ИИ — задолго до нынешнего бума.
«Мы поняли: это изменит мир. Начали адаптировать GPU и создавать ПО, сотрудничая с исследователями по всему миру, когда это ещё не было очевидным», — отметил Дэлли.
**Физический ИИ: новый фокус**
Укрепив позиции на рынке ИИ-чипов, Nvidia ищет новые направления. Одним из них стал «физический ИИ» и робототехника.
«Роботы станут важной частью мира, и мы хотим создавать их “мозги”. Для этого нужны ключевые технологии», — заявил Дэлли.
В 2018 году к команде присоединилась Санья Фидлер, вице-президент по исследованиям ИИ. Работая над симуляторами для роботов в MIT, она заинтересовала Хуана на научной встрече. «Я не смогла устоять. Это идеально совпало с тематикой и культурой компании», — сказала Фидлер.
Она возглавила создание платформы Omniverse в Торонто, занимающейся симуляциями для физического ИИ. Первой задачей стал поиск 3D-данных и разработка дифференцируемого рендеринга, позволяющего преобразовывать изображения в 3D-модели.
**Мировые модели**
В 2021 году Omniverse выпустила GANverse3D, преобразующую изображения в 3D. Позже технологию адаптировали для видео, используя записи с роботов и беспилотников через Neural Reconstruction Engine. Эти наработки легли в основу семейства мировых моделей Cosmos, представленных в январе.
Сейчас лаборатория работает над ускорением этих моделей. «Роботам не нужно воспринимать мир в реальном времени. Если ускорить процесс в 100 раз, это станет прорывом», — пояснила Фидлер.
11 августа на конференции SIGGRAPH Nvidia анонсировала новые модели Cosmos для создания синтетических данных обучения роботов, а также библиотеки и инфраструктурное ПО. Однако, несмотря на прогресс, команда сохраняет реализм.
«До появления гуманоидов в домах пройдёт ещё несколько лет. Это похоже на историю с беспилотниками», — отметила Фидлер.
«ИИ стал катализатором: от компьютерного зрения для восприятия до генеративного ИИ для планирования задач. Решая мелкие проблемы и наращивая объёмы данных, мы сделаем роботов умнее», — добавил Дэлли.