Глубокие подделки китов могут стать ключевым инструментом в сохранении видов

от

Просматривая социальные сети, вы, возможно, сталкивались с роликами, на которых танцует Леонардо Ди Каприо или поёт Том Круз, только чтобы потом узнать, что это подделки, созданные с помощью искусственного интеллекта. Гиперреалистичные видео и изображения, известные как дипфейки, печально известны тем, что используются для розыгрышей знаменитостей. Но у этой технологии есть и серьёзное научное применение.

В области экологии, например, искусственные двойники редких видов могут помочь в изучении, мониторинге и защите этих видов.

Конкретный пример: дипфейки в дикой природе

Искусственные двойники диких животных могут помочь в обучении моделей искусственного интеллекта (ИИ) для обнаружения диких животных на кадрах со спутников, самолётов и дронов. Экологи всё чаще полагаются на такие изображения, чтобы изучать поведение видов и тенденции изменения их популяций.

«Мы действительно живём в эпоху больших данных, когда речь идёт об удалённом зондировании в экологии и сохранении видов», — говорит Дэйв Джонстон, директор лаборатории морской робототехники и дистанционного зондирования в Школе окружающей среды Николаса при Дьюкском университете. «За последние два десятилетия наша способность собирать изображения дистанционного зондирования высокого разрешения выросла в геометрической прогрессии, во многом благодаря достижениям в области технологий дронов и расширению возможностей спутников».

Проблема нехватки данных

Традиционно исследователи должны были вручную просматривать спутниковые и аэрофотоснимки в поисках целевых видов. Теперь инструменты обнаружения ИИ могут ускорить этот процесс. Ключ к успеху — в данных, используемых для обучения компьютерных моделей. Модели должны «видеть» множество реалистичных примеров вида, чтобы знать, что искать на полевых кадрах.

Для некоторых распространённых видов животных существует множество кадров, поэтому собрать обучающие данные довольно просто. Но кадры часто ограничены для видов, которые редки, сливаются с окружающей средой или обитают в труднодоступных местах, таких как зоны военных конфликтов.

«Одна из больших проблем в экологии — это идея нехватки данных», — говорит Генри Сун, выпускник Школы Николаса 2025 года, который специализировался на биологии, морских науках и сохранении природы, а также получил дополнительную специализацию в области компьютерных наук. «Для вида, численность которого составляет всего несколько сотен особей, у вас просто не будет достаточно разнообразных изображений, чтобы обучить хорошую модель обнаружения ИИ».

Решение: использование дипфейков

Что же делать экологу? Один из перспективных вариантов — дополнить скудные обучающие данные с помощью искусственно созданных, или синтетических, данных — по сути, дипфейков. Этот подход, называемый аугментацией данных, может открыть новые экологические возможности, согласно недавней статье в Nature.

Сун, бывший стипендиат Школы Николаса Рейчел Карсон и стипендиат программы North Carolina Space Grant Undergraduate Research Scholar, недавно исследовал тему аугментации данных для своей дипломной работы, которую он планирует опубликовать. В частности, он изучал, может ли ИИ создавать изображения, достаточно реалистичные, чтобы дополнить кадры дронов с находящимися под угрозой исчезновения северными атлантическими гладкими китами, численность популяции которых сократилась до менее чем 400 особей.

Теоретически синтетические данные могут быть использованы для обучения других инструментов ИИ обнаруживать северных атлантических гладких китов на реальных аэрофотоснимках.

Как создаются дипфейки китов

Для создания дипфейков китов Сун и его команда использовали диффузионные модели, которые генерируют изображения в ответ на подсказки в виде описательного текста, примерного изображения или того и другого. Хотя другие исследователи изучали способы дополнения данных для использования в обнаружении китов, команда говорит, что она первая использовала диффузионные модели для этой цели.

Исследователи использовали несколько коммерчески доступных диффузионных моделей, предварительно обученных на массивах данных из интернета. Другими словами, эти базовые модели, как их называют, настроены на создание разнообразных изображений в ответ на подсказки.

Сун и его команда экспериментировали с несколькими методами генерации изображений, сначала используя текстовые подсказки, затем — графические подсказки, и, наконец, метод, называемый тонкой настройкой, который включал текстовые и графические подсказки. Тонкая настройка — это способ улучшить производительность базовой модели для конкретной задачи — в данном случае, создания фотографий китов высокого разрешения и гиперреалистичных — путём дальнейшего обучения её на меньшем, более конкретном наборе данных.

«Иногда диффузионная модель создаёт анатомически деформированные изображения китов, например, китов-близнецов или китов с несколькими плавниками, что показывает, что она ещё не научилась наиболее точному представлению», — объясняет Сун. Тонкая настройка может научить модель избегать таких ошибок.

В целом команда создала сотни аэрофотоснимков северных атлантических гладких китов и, для сравнения, сотни аэрофотоснимков горбатых китов. Поскольку реальных кадров горбатых китов для обучения генеративного ИИ гораздо больше, команда предположила, что их модели будут создавать более реалистичные синтетические изображения горбатых китов.

Проверка достоверности дипфейков китов

Чтобы проверить достоверность своих дипфейков китов, исследователи загрузили свои фотографии в инструмент Google под названием Reverse Image Search, который анализирует вводимое изображение, ищет в интернете похожие картинки и выдаёт результаты. В данном случае цель состояла в том, чтобы увидеть, сможет ли Google распознать китов, изображённых на синтетических данных, и вернуть изображения того же вида.

На поддельных фотографиях, созданных с помощью текстовых или графических подсказок, Google принял многих северных атлантических гладких китов за горбатых. В то же время он правильно идентифицировал оба вида китов почти на всех изображениях, созданных с помощью тонкой настройки.

Команда также обнаружила, что изображения северных атлантических гладких китов, созданные с помощью тонкой настройки, были более точными, чем те, которые были созданы только с помощью текстовых или графических подсказок.

Следующий этап исследования — выяснить, действительно ли синтетические изображения китов могут дополнить обучающие данные для моделей обнаружения ИИ. В качестве отправной точки Сун привлёк студента бакалавриата Макса Ниу, чтобы начать базовое тестирование.

Источник

Другие новости по теме

Другие новости на сайте