Искусственный интеллект (ИИ) обещает помочь врачам в диагностике пациентов и подборе индивидуальных вариантов лечения. Однако международная группа учёных под руководством Массачусетского технологического института (MIT) предупреждает, что существующие системы ИИ могут вводить врачей в заблуждение из-за излишней уверенности в своих решениях, которые могут быть неверными.
Предотвращение ошибок с помощью «сдержанного» ИИ
Один из способов предотвратить эти ошибки — запрограммировать системы ИИ так, чтобы они были более «сдержанными». Такие системы будут показывать, когда они не уверены в своих диагнозах или рекомендациях, и побуждать пользователей собирать дополнительную информацию при неопределённости диагноза.
«Мы сейчас используем ИИ как оракула, но мы можем использовать ИИ как тренера. Мы могли бы использовать ИИ как настоящего напарника. Это не только увеличит нашу способность получать информацию, но и усилит нашу способность соединять точки», — говорит Лео Энтони Сели, старший научный сотрудник Института медицинской инженерии и науки MIT, врач в Медицинском центре Бет Исраэль Дьяконисса и доцент Гарвардской медицинской школы.
Сели и его коллеги создали фреймворк, который, по их словам, может помочь разработчикам ИИ создавать системы, проявляющие любопытство и скромность. Этот новый подход может позволить врачам и системам ИИ работать как партнёры, предотвращая чрезмерное влияние ИИ на решения врачей.
Внедрение человеческих ценностей
Согласно команде MIT, излишне уверенные системы ИИ могут приводить к ошибкам в медицинских учреждениях. Предыдущие исследования показали, что врачи отделений интенсивной терапии полагаются на системы ИИ, которые они считают надёжными, даже когда их собственная интуиция противоречит предложению ИИ.
Вместо систем, которые предлагают излишне уверенные, но потенциально неверные советы, медицинские учреждения должны иметь доступ к системам ИИ, которые более тесно сотрудничают с врачами, считают исследователи.
«Мы пытаемся включить людей в эти системы человек-ИИ, чтобы облегчить людям коллективное размышление и переосмысление, а не иметь изолированных агентов ИИ, которые делают всё. Мы хотим, чтобы люди становились более творческими благодаря использованию ИИ», — говорит Себастьян Андрес Кахас Ордоньес, исследователь в MIT Critical Data, глобальном консорциуме под руководством Лаборатории вычислительной физиологии в Институте медицинской инженерии и науки MIT.
Создание системы
Консорциум разработал фреймворк, включающий несколько вычислительных модулей, которые можно внедрить в существующие системы ИИ. Первый из этих модулей требует от модели ИИ оценивать свою уверенность при постановке диагностических прогнозов.
Разработанный членами консорциума Джананом Арсланом и Куртом Бенке из Мельбурнского университета, Epistemic Virtue Score действует как проверка самосознания, обеспечивая соответствующую корректировку уверенности системы с учётом неопределённости и сложности каждого клинического сценария.
С учётом этого самосознания модель может адаптировать свой ответ к ситуации. Если система обнаруживает, что её уверенность превышает то, что поддерживает имеющаяся информация, она может приостановить работу и пометить несоответствие, запросив конкретные тесты или историю болезни, которые устранят неопределённость, или порекомендовав консультацию специалиста.
Цель — создать ИИ, который не только предоставляет ответы, но и сигнализирует, когда к этим ответам следует относиться с осторожностью.
«Это как иметь напарника, который скажет вам, что вам нужно обратиться к свежей паре глаз, чтобы лучше понять этого сложного пациента», — говорит Сели.
На пути к более инклюзивному ИИ
Это исследование является частью более масштабных усилий Сели и его коллег по созданию систем ИИ, которые разрабатываются для людей, которые в конечном итоге будут наиболее затронуты этими инструментами. Многие модели ИИ, такие как MIMIC, обучаются на общедоступных данных из Соединённых Штатов, что может привести к внедрению предубеждений в отношении определённого способа мышления о медицинских проблемах и исключению других.
Привлечение большего числа точек зрения имеет решающее значение для преодоления этих потенциальных предубеждений, говорит Сели, подчёркивая, что каждый член глобального консорциума вносит свой вклад в более широкое, коллективное понимание.
Ещё одна проблема существующих систем ИИ, используемых для диагностики, заключается в том, что они обычно обучаются на электронных медицинских записях, которые изначально не предназначались для этого. Это означает, что данным не хватает большей части контекста, который был бы полезен для постановки диагнозов и рекомендаций по лечению. Кроме того, многие пациенты никогда не включаются в эти наборы данных из-за отсутствия доступа, например, люди, живущие в сельской местности.
На семинарах по работе с данными, организованных MIT Critical Data, группы специалистов по данным, медицинских работников, социологов, пациентов и других людей совместно работают над созданием новых систем ИИ. Прежде чем начать, каждый должен задуматься о том, отражают ли используемые ими данные все факторы, влияющие на то, что они стремятся предсказать, чтобы не закодировать существующие структурные неравенства в своих моделях.
«Мы заставляем их сомневаться в наборе данных. Уверены ли они в своих данных для обучения и проверки? Думают ли они, что есть пациенты, которые были исключены, непреднамеренно или преднамеренно, и как это повлияет на саму модель?» — говорит Сели. «Конечно, мы не можем остановить или даже замедлить развитие ИИ не только в здравоохранении, но и в каждом секторе. Но мы должны быть более продуманными и взвешенными в том, как мы это делаем».
Исследование финансировалось Бостонско-Корейским инновационным исследовательским проектом через Институт развития здравоохранения Кореи.
1. Какие проблемы могут возникнуть из-за излишней уверенности ИИ в своих решениях?
Из-за излишней уверенности ИИ в своих решениях врачи могут полагаться на эти системы даже тогда, когда их собственная интуиция противоречит предложению ИИ. Это может привести к ошибкам в медицинских учреждениях.
2. Какие цели преследует создание «сдержанного» ИИ?
Цель создания «сдержанного» ИИ — предотвратить ошибки, которые могут возникнуть из-за излишней уверенности ИИ в своих решениях. Такие системы будут показывать, когда они не уверены в своих диагнозах или рекомендациях, и побуждать пользователей собирать дополнительную информацию при неопределённости диагноза.
3. Какие модули включает в себя фреймворк, разработанный консорциумом?
Фреймворк включает в себя несколько вычислительных модулей, которые можно внедрить в существующие системы ИИ. Первый из этих модулей требует от модели ИИ оценивать свою уверенность при постановке диагностических прогнозов.
4. Как система может адаптировать свой ответ к ситуации?
Если система обнаруживает, что её уверенность превышает то, что поддерживает имеющаяся информация, она может приостановить работу и пометить несоответствие, запросив конкретные тесты или историю болезни, которые устранят неопределённость, или порекомендовав консультацию специалиста.
5. Какие проблемы могут возникнуть при обучении моделей ИИ на общедоступных данных?
Модели ИИ, такие как MIMIC, обучаются на общедоступных данных из Соединённых Штатов, что может привести к внедрению предубеждений в отношении определённого способа мышления о медицинских проблемах и исключению других. Кроме того, многие пациенты никогда не включаются в эти наборы данных из-за отсутствия доступа, например, люди, живущие в сельской местности. Это может привести к тому, что данные не будут отражать все факторы, влияющие на постановку диагнозов и рекомендации по лечению.