Каждую весну популяции речной сельди мигрируют из прибрежных вод Массачусетса, чтобы начать свой ежегодный путь вверх по рекам и ручьям к местам нереста в пресной воде.
За последние несколько десятилетий численность речной сельди резко сократилась, и за их миграцией ведётся тщательное наблюдение по всему региону, в основном с помощью традиционного визуального подсчёта и программ, основанных на участии волонтёров.
Мониторинг движения рыб и понимание динамики популяций
Мониторинг перемещения рыб и понимание динамики популяций необходимы для разработки мер по сохранению и управления рыболовством. С началом нерестового хода сельди в этом месяце исследователи и менеджеры ресурсов вновь сталкиваются с задачей максимально точного подсчёта и оценки мигрирующей популяции рыб.
Команда исследователей из Центра климатических исследований Вудвелла, MIT Sea Grant, Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (CSAIL), Лаборатории Линкольна Массачусетского технологического института и Intuit разработала новый метод мониторинга с использованием подводных видео и компьютерного зрения для дополнения усилий гражданской науки.
Исследователи — Чжунци Чен и Линда Диган из Центра климатических исследований Вудвелла, Роберт Винсент и Кевин Беннетт из MIT Sea Grant, Сара Бери и Тимм Хауке из MIT CSAIL, Остин Пауэлл из Intuit и Лидия Зуесоу из Лаборатории Линкольна Массачусетского технологического института — опубликовали статью, описывающую эту работу, в журнале Remote Sensing in Ecology and Conservation в феврале этого года.
Использование компьютерного зрения для мониторинга рыб
Статья «От снимков к непрерывным оценкам: расширение возможностей гражданской науки с помощью компьютерного зрения для мониторинга рыб» описывает, как недавние достижения в области компьютерного зрения и глубокого обучения, от обнаружения и отслеживания объектов до классификации видов, предлагают многообещающие решения для автоматизации подсчёта рыб с повышением эффективности и качества данных.
Традиционные методы мониторинга ограничены по времени, условиям окружающей среды и трудоёмкости. Визуальный подсчёт волонтёров ограничен короткими окнами отбора проб в дневное время, при этом упускаются ночные перемещения и короткие импульсы миграции, когда сотни рыб проходят мимо в течение нескольких минут.
Хотя такие технологии, как пассивный акустический мониторинг и визуализирующий гидролокатор, продвинули непрерывный мониторинг рыб в определённых условиях, наиболее перспективный и недорогой вариант — ручной просмотр подводных видео — по-прежнему требует много времени и усилий.
Команда разработала комплексный конвейер — от полевых подводных камер до маркировки видео и обучения модели — для достижения автоматизированного подсчёта рыб с помощью компьютерного зрения. Видео были собраны в трёх реках Массачусетса: в реке Кунамест в Фалмуте, в реке Ипсуич (Ипсуич) и в реке Сантуит в Машпи.
Для подготовки обучающего набора данных команда выбрала видеоклипы с вариациями освещения, прозрачности воды, видов и плотности рыб, времени суток и сезона, чтобы модель компьютерного зрения надёжно работала в различных реальных сценариях. Они использовали открытую веб-платформу для ручной маркировки видеофрагментов с помощью ограничивающих рамок для отслеживания движения рыб. Всего они маркировали 1435 видеоклипов и аннотировали 59 850 кадров.
Исследователи сравнили и проверили подсчёты с помощью компьютерного зрения с обзорами видео человеком, визуальными подсчётами на берегу и данными с помощью пассивной интегрированной транспондерной (PIT) метки. Они пришли к выводу, что модели, обученные на разнообразных многосайтовых и многолетних данных, работали лучше всего и давали подсчёты высокого разрешения в течение всего сезона, соответствующие традиционно установленным оценкам.
Система также предоставила информацию о поведении миграции, сроках и моделях перемещения, связанных с факторами окружающей среды. Используя видео миграции речной сельди по реке Кунамест в 2024 году, система насчитала 42 510 речных сельдей и показала, что пик миграции вверх по течению приходится на рассвет, а миграция вниз по течению в основном происходит в ночное время, когда рыба использует более тёмные и тихие периоды, чтобы избежать хищников.
Финансирование и перспективы
Работа была профинансирована MIT Sea Grant при дополнительной поддержке Северо-восточного центра адаптации к изменению климата, гранта MIT Abdul Latif Jameel Water and Food Systems, Глобального центра по искусственному интеллекту и изменению биоразнообразия (при поддержке Национального научного фонда и Канадского совета по естественным наукам и инженерным исследованиям) и Программы возможностей для научных исследований для студентов Массачусетского технологического института.
Исследователи стремятся продвинуть компьютерное зрение в управление рыболовством и предоставить основу и лучшие практики для интеграции технологии в усилия по сохранению для широкого спектра водных видов.
Тем не менее, продолжение традиционного мониторинга необходимо для поддержания согласованности в долгосрочных наборах данных, пока агентства по управлению рыболовством не внедрят полностью автоматизированные системы подсчёта. Даже после этого компьютерное зрение и гражданская наука должны рассматриваться как дополняющие друг друга. Волонтёры будут необходимы для обслуживания камер и непосредственного участия в рабочем процессе компьютерного зрения, от аннотации видео до проверки моделей.
Исследователи предполагают, что интеграция гражданских наблюдений и данных, полученных с помощью компьютерного зрения, поможет создать более полный и целостный подход к экологическому мониторингу.
1. Какие проблемы существуют в традиционных методах мониторинга рыб и как их решает использование компьютерного зрения?
В традиционных методах мониторинга рыб существуют ограничения по времени, условиям окружающей среды и трудоёмкости. Визуальный подсчёт волонтёров ограничен короткими окнами отбора проб в дневное время, при этом упускаются ночные перемещения и короткие импульсы миграции. Использование компьютерного зрения позволяет автоматизировать подсчёт рыб, повысить эффективность и качество данных, а также проводить непрерывный мониторинг в различных условиях.
2. Какие данные использовались для обучения модели компьютерного зрения в описанном исследовании?
Для обучения модели компьютерного зрения использовались видеоклипы, собранные в трёх реках Массачусетса: в реке Кунамест в Фалмуте, в реке Ипсуич и в реке Сантуит в Машпи. Видеоматериалы содержали вариации освещения, прозрачности воды, видов и плотности рыб, времени суток и сезона. Всего было маркировано 1435 видеоклипов и аннотировано 59 850 кадров.
3. Какие результаты были получены при сравнении подсчётов с помощью компьютерного зрения с другими методами мониторинга?
Исследователи сравнили подсчёты с помощью компьютерного зрения с обзорами видео человеком, визуальными подсчётами на берегу и данными с помощью пассивной интегрированной транспондерной (PIT) метки. Они пришли к выводу, что модели, обученные на разнообразных многосайтовых и многолетних данных, работали лучше всего и давали подсчёты высокого разрешения в течение всего сезона, соответствующие традиционно установленным оценкам.
4. Какие перспективы открывает использование компьютерного зрения для мониторинга рыб?
Использование компьютерного зрения для мониторинга рыб открывает перспективы для автоматизации подсчёта рыб, повышения эффективности и качества данных, проведения непрерывного мониторинга в различных условиях, а также создания более полного и целостного подхода к экологическому мониторингу. Исследователи стремятся продвинуть компьютерное зрение в управление рыболовством и предоставить основу и лучшие практики для интеграции технологии в усилия по сохранению для широкого спектра водных видов.
5. Какова роль волонтёров в процессе мониторинга рыб с использованием компьютерного зрения?
Волонтёры играют важную роль в процессе мониторинга рыб с использованием компьютерного зрения. Они необходимы для обслуживания камер, непосредственного участия в рабочем процессе компьютерного зрения, от аннотации видео до проверки моделей. Интеграция гражданских наблюдений и данных, полученных с помощью компьютерного зрения, поможет создать более полный и целостный подход к экологическому мониторингу.