Аннотация регионов интереса на медицинских изображениях — процесс, известный как сегментация, часто является одним из первых шагов, которые предпринимают клинические исследователи при запуске нового исследования, связанного с биомедицинскими изображениями.
Например, чтобы определить, как размер гиппокампа мозга меняется с возрастом пациентов, учёный сначала обводит каждый гиппокамп на серии снимков мозга. Для многих структур и типов изображений этот процесс часто выполняется вручную и может занимать очень много времени, особенно если изучаемые области сложно выделить.
Ускорение процесса с помощью ИИ
Чтобы упростить процесс, исследователи из Массачусетского технологического института (MIT) разработали систему на основе искусственного интеллекта, которая позволяет исследователю быстро сегментировать новые наборы данных биомедицинских изображений, ставя метки, рисуя на изображениях. Эта новая модель ИИ использует эти взаимодействия для прогнозирования сегментации.
По мере того как пользователь помечает дополнительные изображения, количество взаимодействий, которые ему необходимо выполнить, уменьшается, пока не достигнет нуля. Модель может точно сегментировать каждое новое изображение без участия пользователя. Это возможно благодаря тому, что архитектура модели специально разработана для использования информации из изображений, которые она уже сегментировала, для принятия новых прогнозов.
В отличие от других моделей сегментации медицинских изображений, эта система позволяет пользователю сегментировать весь набор данных без повторения своей работы для каждого изображения.
Преимущества системы
Кроме того, интерактивный инструмент не требует предварительно сегментированного набора данных изображений для обучения, поэтому пользователям не нужны знания в области машинного обучения или обширные вычислительные ресурсы. Они могут использовать систему для новой задачи сегментации без переобучения модели.
В долгосрочной перспективе этот инструмент может ускорить исследования новых методов лечения и снизить стоимость клинических испытаний и медицинских исследований. Врачи также могут использовать его для повышения эффективности клинических приложений, таких как планирование лучевой терапии.
«Многие учёные могут выделять время только на сегментацию нескольких изображений в день для своих исследований, потому что ручная сегментация изображений занимает много времени. Мы надеемся, что эта система позволит открыть новые горизонты науки, позволив клиническим исследователям проводить исследования, которые они не могли проводить раньше из-за отсутствия эффективного инструмента», — говорит Халли Вонг, аспирантка кафедры электротехники и информатики и ведущий автор статьи об этом новом инструменте.
Оптимизация сегментации
В настоящее время исследователи используют два основных метода для сегментации новых наборов медицинских изображений. При интерактивной сегментации они вводят изображение в систему искусственного интеллекта и используют интерфейс для разметки областей интереса. Модель прогнозирует сегментацию на основе этих взаимодействий.
Инструмент, ранее разработанный исследователями MIT, под названием ScribblePrompt, позволяет пользователям делать это, но им приходится повторять процесс для каждого нового изображения.
Другой подход заключается в разработке модели искусственного интеллекта для конкретной задачи, которая автоматически сегментирует изображения. Этот подход требует от пользователя вручную сегментировать сотни изображений для создания набора данных, а затем обучить модель машинного обучения. Эта модель прогнозирует сегментацию для нового изображения. Но пользователю приходится начинать сложный процесс, основанный на машинном обучении, с нуля для каждой новой задачи, и нет возможности исправить модель, если она допустила ошибку.
Новая система, MultiverSeg, сочетает в себе лучшее из каждого подхода. Она прогнозирует сегментацию для нового изображения на основе взаимодействий пользователя, таких как пометки, но также сохраняет каждое сегментированное изображение в наборе контекстов, к которому она обращается позже.
Когда пользователь загружает новое изображение и отмечает области интереса, модель использует примеры из своего набора контекстов для более точного прогнозирования с меньшим участием пользователя.
Исследователи разработали архитектуру модели так, чтобы она использовала набор контекстов любого размера, поэтому пользователю не нужно иметь определённое количество изображений. Это даёт MultiverSeg гибкость для использования в различных приложениях.
«В какой-то момент для многих задач вам не нужно будет предоставлять какие-либо взаимодействия. Если у вас будет достаточно примеров в наборе контекстов, модель сможет точно прогнозировать сегментацию самостоятельно», — говорит Вонг.
Исследователи тщательно спроектировали и обучили модель на разнообразной коллекции данных биомедицинских изображений, чтобы обеспечить ей возможность постепенно улучшать свои прогнозы на основе пользовательского ввода.
Пользователю не нужно переучивать или настраивать модель для своих данных. Чтобы использовать MultiverSeg для новой задачи, можно загрузить новое медицинское изображение и начать его помечать.
Когда исследователи сравнили MultiverSeg с современными инструментами для интерактивной сегментации изображений, она превзошла каждый базовый уровень.
Меньше кликов — лучшие результаты
В отличие от других инструментов, MultiverSeg требует меньше взаимодействий пользователя с каждым изображением. К девятому новому изображению ему нужно было всего два клика пользователя, чтобы сгенерировать сегментацию, более точную, чем модель, разработанная специально для этой задачи.
Для некоторых типов изображений, таких как рентгеновские снимки, пользователю может потребоваться сегментировать только одно или два изображения вручную, прежде чем модель станет достаточно точной, чтобы делать прогнозы самостоятельно.
Интерактивность инструмента также позволяет пользователю вносить коррективы в прогноз модели, повторяя процесс до достижения желаемого уровня точности. По сравнению с предыдущей системой исследователей, MultiverSeg достигла 90% точности примерно с 2/3 количества пометок и 3/4 количества кликов.
«С помощью MultiverSeg пользователи всегда могут предоставить больше взаимодействий для уточнения прогнозов ИИ. Это всё равно значительно ускоряет процесс, потому что обычно быстрее исправить что-то существующее, чем начинать с нуля», — говорит Вонг.
В дальнейшем исследователи хотят протестировать этот инструмент в реальных условиях с клиническими коллегами и улучшить его на основе отзывов пользователей. Они также хотят, чтобы MultiverSeg могла сегментировать трёхмерные биомедицинские изображения.
Эта работа частично поддержана компанией Quanta Computer, Inc. и Национальными институтами здравоохранения, при аппаратной поддержке Массачусетского центра наук о жизни.
1. Какие проблемы решает новая система искусственного интеллекта MultiverSeg в клинических исследованиях?
Ответ: новая система искусственного интеллекта MultiverSeg решает проблему ручной сегментации медицинских изображений, которая занимает много времени и может быть трудоёмкой. Она позволяет исследователям быстро и точно сегментировать новые наборы данных биомедицинских изображений, ставя метки и рисуя на них.
2. Какие преимущества имеет система MultiverSeg по сравнению с другими методами сегментации медицинских изображений?
Ответ: система MultiverSeg имеет несколько преимуществ по сравнению с другими методами. Во-первых, она не требует предварительно сегментированного набора данных изображений для обучения, поэтому пользователям не нужны знания в области машинного обучения или обширные вычислительные ресурсы. Во-вторых, она позволяет пользователю сегментировать весь набор данных без повторения своей работы для каждого изображения. В-третьих, она требует меньше взаимодействий пользователя с каждым изображением, что ускоряет процесс сегментации.
3. Как работает система MultiverSeg?
Ответ: система MultiverSeg работает путём прогнозирования сегментации для нового изображения на основе взаимодействий пользователя, таких как пометки. Она сохраняет каждое сегментированное изображение в наборе контекстов, к которому она обращается позже. Когда пользователь загружает новое изображение и отмечает области интереса, модель использует примеры из своего набора контекстов для более точного прогнозирования с меньшим участием пользователя.
4. Какие результаты были получены при сравнении MultiverSeg с современными инструментами для интерактивной сегментации изображений?
Ответ: при сравнении MultiverSeg с современными инструментами для интерактивной сегментации изображений было обнаружено, что она превзошла каждый базовый уровень. Она требует меньше взаимодействий пользователя с каждым изображением и достигает более высокой точности сегментации. Например, для некоторых типов изображений, таких как рентгеновские снимки, пользователю может потребоваться сегментировать только одно или два изображения вручную, прежде чем модель станет достаточно точной, чтобы делать прогнозы самостоятельно.
5. Какие планы у исследователей на будущее относительно системы MultiverSeg?
Ответ: исследователи планируют протестировать этот инструмент в реальных условиях с клиническими коллегами и улучшить его на основе отзывов пользователей. Они также хотят, чтобы MultiverSeg могла сегментировать трёхмерные биомедицинские изображения.