Недавнее исследование из Орегонского государственного университета показало, что более 3500 видов животных находятся под угрозой исчезновения из-за таких факторов, как изменение среды обитания, чрезмерная эксплуатация природных ресурсов и изменение климата.
Чтобы лучше понять эти изменения и защитить уязвимые виды диких животных, такие как студент Массачусетского технологического института (MIT) Джастин Кэй, работающий в Лаборатории компьютерных наук и искусственного интеллекта (CSAIL), разрабатывает алгоритмы компьютерного зрения, которые тщательно отслеживают популяции животных.
Кэй, работающий в лаборатории под руководством доцента кафедры электротехники и компьютерных наук Массачусетского технологического института и главного исследователя CSAIL Сары Бери, в настоящее время занимается отслеживанием лосося на северо-западе Тихого океана, где они обеспечивают важные питательные вещества для хищников, таких как птицы и медведи, управляя при этом популяцией добычи, например, насекомых.
Вопрос: В вашей статье вы задаётесь вопросом, какие модели искусственного интеллекта будут лучше всего работать с определённым набором данных. Как CODA помогает нам решить эту задачу, учитывая, что в одном только репозитории HuggingFace доступно до 1,9 миллиона предварительно обученных моделей?
Ответ: До недавнего времени использование ИИ для анализа данных обычно означало обучение собственной модели. Это требовало значительных усилий для сбора и аннотирования репрезентативного обучающего набора данных, а также для итеративного обучения и проверки моделей. Также необходим определённый набор технических навыков для запуска и модификации кода обучения ИИ.
Однако теперь есть миллионы публично доступных предварительно обученных моделей, которые могут выполнять различные прогностические задачи очень хорошо. Это потенциально позволяет людям использовать ИИ для анализа своих данных без разработки собственной модели, просто загружая существующую модель с необходимыми им возможностями. Но это ставит новую задачу: какую модель из миллионов доступных использовать для анализа своих данных?
Обычно для ответа на этот вопрос о выборе модели также требуется много времени для сбора и аннотирования большого набора данных, хотя и для тестирования моделей, а не для их обучения. Это особенно актуально для реальных приложений, где потребности пользователей специфичны, распределение данных несбалансировано и постоянно меняется, а производительность модели может быть непостоянной для разных образцов.
Наша цель с CODA — существенно сократить эти усилия. Мы делаем процесс аннотирования данных «активным». Вместо того чтобы требовать от пользователей массового аннотирования большого тестового набора данных за один раз, мы делаем процесс интерактивным, направляя пользователей к аннотированию наиболее информативных точек данных в их необработанных данных. Это удивительно эффективно, часто требуя от пользователей аннотирования всего 25 примеров для определения лучшей модели из их набора кандидатов.
Мы очень рады, что CODA предлагает новый взгляд на то, как наилучшим образом использовать человеческие усилия при разработке и внедрении систем машинного обучения (ML). Наша работа подчёркивает ценность сосредоточения усилий на надёжных конвейерах оценки, а не только на обучении.
Вопрос: Вы применили метод CODA для классификации диких животных на изображениях. Почему он показал такие хорошие результаты и какую роль могут играть подобные системы в мониторинге экосистем в будущем?
Ответ: Одним из ключевых выводов было то, что при рассмотрении набора потенциальных моделей ИИ консенсус всех их прогнозов более информативен, чем прогнозы любой отдельной модели. Это можно рассматривать как своего рода «мудрость толпы»: в среднем объединение голосов всех моделей даёт вам приличное представление о том, какими должны быть метки отдельных точек данных в вашем необработанном наборе данных.
Наш подход с CODA основан на оценке «матрицы путаницы» для каждой модели ИИ — учитывая, что истинная метка для некоторой точки данных является классом X, какова вероятность того, что отдельная модель предскажет класс X, Y или Z? Это создаёт информативные зависимости между всеми кандидатами модели, категориями, которые вы хотите пометить, и немаркированными точками в вашем наборе данных.
Вопрос: Вы работаете в Beerylab под руководством Сары Бери, где исследователи объединяют возможности распознавания закономерностей алгоритмов машинного обучения с технологиями компьютерного зрения для мониторинга дикой природы. Какие ещё способы отслеживания и анализа природного мира использует ваша команда, помимо CODA?
Ответ: В лаборатории ведётся множество интересных проектов. У нас есть текущие проекты по мониторингу коралловых рифов с помощью дронов, повторной идентификации отдельных слонов с течением времени и объединению мультимодальных данных наблюдения Земли со спутников и на месте с помощью камер.
Мы рассматриваем новые технологии для мониторинга биоразнообразия и пытаемся понять, где существуют узкие места в анализе данных, и разрабатываем новые подходы компьютерного зрения и машинного обучения, которые решают эти проблемы широко применяемым способом. Это увлекательный способ решения проблем, который нацелен на «метавопросы», лежащие в основе конкретных проблем с данными, с которыми мы сталкиваемся.
Например, алгоритмы компьютерного зрения, которые я разрабатывал для подсчёта мигрирующего лосося в подводном сонаре, являются примером такой работы. Мы часто сталкиваемся со смещением распределения данных, даже когда пытаемся создать наиболее разнообразные обучающие наборы данных. Мы всегда сталкиваемся с чем-то новым, когда запускаем новую камеру, и это снижает производительность алгоритмов компьютерного зрения.
Одним из направлений работы, которым я особенно увлечён, является понимание того, как лучше разрабатывать и анализировать производительность прогностических алгоритмов машинного обучения в контексте их фактического использования. Обычно выходные данные какого-либо алгоритма компьютерного зрения — скажем, ограничивающие рамки вокруг животных на изображениях — на самом деле не являются тем, что интересует людей, а являются лишь средством для решения более крупной проблемы — например, какие виды здесь обитают и как это меняется с течением времени?
Мы работаем над методами анализа прогностической эффективности в этом контексте и переосмысливаем способы ввода человеческого опыта в системы машинного обучения. CODA был одним из примеров такого подхода, где мы показали, что можем рассматривать сами модели машинного обучения как фиксированные и построить статистическую основу для понимания их производительности очень эффективно.
Вопрос: Какие проблемы возникают при использовании ИИ для анализа данных в контексте мониторинга экосистем, и как CODA решает эти проблемы?
Ответ: При использовании ИИ для анализа данных в контексте мониторинга экосистем возникает несколько проблем. Во-первых, это необходимость сбора и аннотирования репрезентативного обучающего набора данных, что требует значительных усилий. Во-вторых, это итеративное обучение и проверка моделей, что также может быть трудоёмким. Кроме того, для запуска и модификации кода обучения ИИ требуются определённые технические навыки.
CODA решает эти проблемы, делая процесс аннотирования данных «активным». Вместо того чтобы требовать от пользователей массового аннотирования большого тестового набора данных за один раз, CODA направляет пользователей к аннотированию наиболее информативных точек данных в их необработанных данных. Это позволяет существенно сократить усилия, необходимые для определения лучшей модели из набора кандидатов.
Вопрос: Какие методы и подходы используются для мониторинга дикой природы, помимо CODA, и как они могут дополнять друг друга?
Ответ: Помимо CODA, для мониторинга дикой природы используются различные методы и подходы. Например, в лаборатории ведётся работа по мониторингу коралловых рифов с помощью дронов, повторной идентификации отдельных слонов с течением времени и объединению мультимодальных данных наблюдения Земли со спутников и на месте с помощью камер.
Эти методы и подходы могут дополнять друг друга, предоставляя более полную картину состояния экосистем. Например, данные, полученные с помощью дронов, могут быть использованы для мониторинга коралловых рифов, а данные, собранные с помощью камер, могут быть использованы для повторной идентификации отдельных животных. Объединение этих данных может помочь учёным лучше понять динамику популяций и состояние экосистем.
Вопрос: Какие проблемы могут возникнуть при использовании алгоритмов компьютерного зрения для мониторинга дикой природы, и как они решаются?
Ответ: При использовании алгоритмов компьютерного зрения для мониторинга дикой природы могут возникнуть несколько проблем. Во-первых, это смещение распределения данных, даже при создании наиболее разнообразных обучающих наборов данных. Это может снизить производительность алгоритмов компьютерного зрения.
Кроме того, выходные данные алгоритмов компьютерного зрения, такие как ограничивающие рамки вокруг животных на изображениях, могут не быть тем, что интересует учёных. Вместо этого они могут быть заинтересованы в понимании того, какие виды обитают в определённой области и как это меняется с течением времени.
Для решения этих проблем разрабатываются новые подходы компьютерного зрения и машинного обучения, которые решают проблемы широко применяемым способом. Например, алгоритмы компьютерного зрения могут быть адаптированы для работы с различными типами данных и условиями, что позволяет повысить их производительность и точность.