Каждый год тысячи студентов проходят курсы, на которых их обучают создавать модели искусственного интеллекта, помогающие врачам диагностировать заболевания и назначать лечение. Однако многие из этих курсов упускают ключевой элемент: обучение студентов выявлению недостатков в обучающих данных, используемых для разработки моделей.
Лео Энтони Сели, старший научный сотрудник Института медицинской инженерии и науки Массачусетского технологического института (MIT), врач в медицинском центре Beth Israel Deaconess и доцент Гарвардской медицинской школы, задокументировал эти недостатки в 📃 новой статье и надеется убедить разработчиков курсов научить студентов более тщательно оценивать свои данные, прежде чем включать их в модели.
Вопрос: как предвзятость попадает в эти наборы данных и как можно устранить эти недостатки?
Ответ: любые проблемы в данных будут отражены в любой модели, созданной на их основе. В прошлом мы описывали инструменты и устройства, которые плохо работают с разными людьми. Например, мы обнаружили, что пульсоксиметры завышают уровень кислорода у цветных людей, потому что в клинических испытаниях устройств участвовало недостаточно цветных людей.
Мы напоминаем нашим студентам, что медицинские приборы и оборудование оптимизированы для здоровых молодых мужчин. Они никогда не были оптимизированы для 80-летней женщины с сердечной недостаточностью, но мы используем их для этих целей. И FDA не требует, чтобы устройство хорошо работало с таким разнообразным населением, для которого мы будем его использовать. Им нужно только доказательство того, что оно работает со здоровыми испытуемыми.
Кроме того, система электронных медицинских записей не годится для использования в качестве основы для ИИ. Эти записи не были предназначены для использования в качестве обучающей системы, и поэтому к их использованию нужно подходить очень осторожно. Система электронных медицинских записей подлежит замене, но это произойдёт не скоро, поэтому нам нужно быть умнее. Нам нужно более творчески подходить к использованию данных, которые у нас есть сейчас, независимо от того, насколько они плохи, при построении алгоритмов.
Один из перспективных направлений, которые мы изучаем, — разработка 🔄 трансформерной модели числовых данных электронных медицинских записей, включая результаты лабораторных исследований. Моделирование взаимосвязи между лабораторными исследованиями, показателями жизнедеятельности и лечением может смягчить эффект от пропущенных данных в результате социальных детерминант здоровья и неявной предвзятости поставщиков.
Вопрос: почему важно, чтобы курсы по ИИ охватывали источники потенциальной предвзятости? Что вы обнаружили, когда анализировали содержание таких курсов?
Ответ: наш курс в MIT начался в 2016 году, и в какой-то момент мы поняли, что поощряем людей к тому, чтобы они стремились создать модели, которые соответствуют некоторым статистическим показателям эффективности модели, хотя на самом деле данные, которые мы используем, изобилуют проблемами, о которых люди не подозревают.
Мы подозревали, что если посмотреть на курсы, где программа курса доступна онлайн, или на онлайн-курсы, то ни один из них даже не удосуживается сказать студентам, что они должны быть параноиками в отношении данных. И, как оказалось, когда мы посмотрели на различные онлайн-курсы, выяснилось, что всё дело в построении модели. Как построить модель? Как визуализировать данные? Из 11 проанализированных курсов только пять включали разделы о предвзятости в наборах данных, и только два содержали значительное обсуждение предвзятости.
Тем не менее мы не можем умалять ценность этих курсов. Я слышал много историй о том, как люди самостоятельно изучают эти онлайн-курсы. Но в то же время, учитывая, насколько они влиятельны, насколько они значимы, мы должны удвоить усилия, требуя, чтобы они обучали правильным навыкам, поскольку всё больше и больше людей привлекаются к этой мультивселенной ИИ.
Вопрос: какой контент разработчики курсов должны включать?
Ответ: во-первых, дать им в начале чек-лист вопросов. Откуда взялись эти данные? Кто были наблюдатели? Кто были врачи и медсёстры, которые собирали данные? Затем узнать немного о ландшафте этих учреждений. Если это база данных отделения интенсивной терапии, они должны спросить, кто попадает в отделение интенсивной терапии, а кто нет, потому что это уже вносит предвзятость отбора проб.
С 2014 года консорциум MIT Critical Data организует дататоны (данные «хакатоны») по всему миру. На этих собраниях врачи, медсёстры, другие медицинские работники и специалисты по данным собираются вместе, чтобы изучить базы данных и попытаться изучить здоровье и болезни в местном контексте.
Наша главная цель сейчас — научить их навыкам критического мышления. И главный ингредиент для критического мышления — это объединение людей с разным опытом. Вы не можете научить критическому мышлению в комнате, полной CEO или врачей. Для этого просто нет среды. Когда мы проводим дататоны, нам даже не нужно учить их, как мыслить критически. Как только вы соберёте нужную смесь людей — и дело не только в разном происхождении, но и в разных поколениях — вам даже не нужно говорить им, как мыслить критически. Это просто происходит. Среда для такого мышления правильная.
Мы теперь говорим нашим участникам и нашим студентам: пожалуйста, не начинайте создавать какую-либо модель, пока вы действительно не поймёте, как появились данные, какие пациенты попали в базу данных, какие устройства использовались для измерения и являются ли эти устройства последовательно точными для разных людей.