Прошло почти четыре года с тех пор, как Facebook официально сменил своё корпоративное название на Meta. Основатель компании Марк Цукерберг обещал, что полноценная цифровая «метавселенная» уже не за горами. Однако с тех пор интерес пользователей к виртуальным пространствам практически не вырос, и сам Цукерберг, похоже, переключил внимание на ИИ-компаньонов и Ray-Ban с функцией подкастов. Для многих просто посидеть дома на диване с собакой по-прежнему привлекательнее, чем погрузиться в виртуальную реальность.
Но что, если ваш пушистый друг мог бы присоединиться к вам?
Исследователи из Национального института науки и технологий Ульсана в Южной Корее разработали систему искусственного интеллекта, которая может сделать это возможным. Используя систему под названием DogRecon, команда смогла взять одну фотографию собаки и преобразовать её в реалистичную трёхмерную цифровую модель, которую можно использовать в приложениях виртуальной или дополненной реальности.
Хотя DogRecon ещё не готов к широкому применению, уникальные механизмы взвешивания помогли ему генерировать более чёткие и реалистичные изображения по сравнению с аналогичными моделями ИИ, которые часто создавали размытые, искажённые изображения с неточной геометрией тела.
Исследователи поделились своими выводами в Международном журнале по компьютерному зрению.
Видео показывает несколько ранних примеров того, как эти созданные ИИ трёхмерные собаки могут выглядеть в виртуальной среде.
На левом кадре стая щенков (включая сиба-ину в зелёных ботиночках) медленно идёт по заднему двору. На правом — две собаки гуляют по гостиной. После того как аватары собак в 3D созданы, исследователи могут управлять ими с помощью простых текстовых подсказок.
«Поскольку более четверти домашних хозяйств содержат домашних животных, расширение технологии трёхмерной реконструкции, традиционно ориентированной на людей, на животных-компаньонов стало целью», — заявил первый автор исследования Гёнсу Чо в заявлении, отправленном в Tech Xplore. «DogRecon предлагает инструмент, который позволяет каждому создать и анимировать цифровую версию своего питомца».
Исследователи не сразу ответили на запрос Popular Science о комментарии.
Превращение 2D-фотографии в 3D-аватары
Хотя в последние годы был достигнут значительный прогресс в улучшении реализма человеческих аватаров в виртуальном пространстве, нашим пушистым компаньонам уделялось гораздо меньше внимания. По словам команды, одна из причин этого заключается в том, что домашние животные (особенно собаки) анатомически сложнее людей. Собаки бывают сотен пород, каждая со своими формами, размерами и уникальными физическими особенностями.
Четырёхногая поза Фидо также приводит к более частой окклюзии суставов по сравнению с людьми, что усложняет точное трёхмерное моделирование. Все эти дополнительные переменные создают больше возможностей для ошибок модели при создании собак в цифровом пространстве. Однако исследователи утверждают, что отсутствие должным образом смоделированных домашних животных в виртуальной реальности ограничивает общую правдоподобность любой так называемой «метавселенной».
Команда попыталась решить эти проблемы, сначала используя статистические модели ИИ, специфичные для породы, чтобы уловить различия в формах и позах тела. Затем они использовали вторую генеративную модель ИИ для создания изображений с нескольких ракурсов, которые оставались геометрически согласованными с формой тела собаки.
Объединив эти два шага, система смогла взять одно изображение собаки (в данном случае реальные изображения из интернета) и позволить моделям ИИ предсказать, как собака будет выглядеть и двигаться с разных ракурсов.
Не все прогнозы ИИ являются точным отражением того, как должна выглядеть собака. Чтобы решить эту проблему, исследователи применили к своей модели механизм взвешивания, отдавая приоритет результатам, которые выглядели более реалистично, и отфильтровывая те, которые имели искажения или другие необычные визуальные элементы, обычно встречающиеся в плохо сгенерированных изображениях ИИ.
Взвешивание в этом контексте помогает установить параметры для выходных данных ИИ, чтобы направить его к желаемым результатам. Когда они сравнили DogRecon с другими моделями ИИ, способными генерировать видео из изображений, они обнаружили, что их система последовательно давала более анатомически точные результаты.
Хотя результаты не были идеальными, трёхмерные модели, созданные DogRecon, в целом напоминают породы собак, для которых они предназначены, но в нескольких примерах, показанных в условиях виртуальной и дополненной реальности, они всё ещё выглядят несколько разобщёнными и визуально раздражающими. Их движение напоминает не лёгкую ловкость бордер-колли, а скорее жёсткую анимацию из раннего эпизода South Park.
Тем не менее, такие инструменты могут быть приветствованы пользователями виртуальной реальности, которые хотят взять своего питомца с собой в следующее цифровое приключение. Что касается настоящих собак — они всё ещё тусуются на диване.
Статья «ИИ может превратить фотографию вашей собаки в аватар для виртуальной реальности» впервые опубликована в Popular Science.