Потребность в ИИ-агентах в здравоохранении назрела. Во всей отрасли перегруженные команды завалены трудоёмкими задачами, которые задерживают оказание помощи пациентам. Врачи работают на износ, колл-центры плательщиков перегружены, а пациенты ждут ответов на насущные вопросы.
ИИ-агенты могут помочь, восполнив глубокие пробелы, расширив возможности и доступность клинического и административного персонала и снизив выгорание как среди медперсонала, так и среди пациентов. Но прежде чем мы сможем это сделать, нам нужна прочная основа для укрепления доверия к ИИ-агентам. Это доверие не придёт благодаря тёплому тону голоса или разговорной беглости. Оно приходит благодаря инженерным разработкам.
Хотя интерес к ИИ-агентам стремительно растёт, а заголовки трубят о перспективах агентского ИИ, лидеры здравоохранения — ответственные перед своими пациентами и обществом — по-прежнему не решаются внедрять эту технологию в масштабе. Стартапы рекламируют агентские возможности, которые варьируются от автоматизации рутинных задач, таких как планирование встреч, до интенсивного общения с пациентами и ухода за ними. Однако большинство из них ещё не доказали, что их взаимодействие безопасно.
Многие из них никогда этого не сделают.
Реальность такова, что любой может запустить голосового агента на базе большой языковой модели (LLM), придать ему сострадательный тон и написать сценарий разговора, который звучит убедительно. Существует множество подобных платформ, которые продают своих агентов в каждой отрасли. Их агенты могут выглядеть и звучать по-разному, но все они ведут себя одинаково — склонны к галлюцинациям, не могут проверить критически важные факты и лишены механизмов, обеспечивающих подотчётность.
Такой подход — создание зачастую слишком тонкой оболочки вокруг фундаментальной LLM — может работать в таких отраслях, как розничная торговля или гостиничный бизнес, но потерпит неудачу в здравоохранении. Фундаментальные модели — это выдающиеся инструменты, но они в основном общего назначения; они не были обучены специально на основе клинических протоколов, политик плательщиков или нормативных стандартов. Даже самые красноречивые агенты, созданные на основе этих моделей, могут уйти в область галлюцинаций, отвечая на вопросы, которые не должны, выдумывая факты или не осознавая, когда необходимо привлечь человека.
📊 Последствия такого поведения не теоретические. Они могут запутать пациентов, помешать оказанию помощи и привести к дорогостоящей доработке со стороны человека. Это не проблема интеллекта. Это проблема инфраструктуры.
Чтобы работать безопасно, эффективно и надёжно в здравоохранении, ИИ-агенты должны быть больше, чем просто автономными голосами на другом конце провода. Они должны управляться системами, разработанными специально для контроля, контекста и подотчётности.
Контроль ответов может исключить галлюцинации
ИИ-агенты в здравоохранении не могут просто генерировать правдоподобные ответы. Они должны выдавать правильные ответы каждый раз. Для этого требуется контролируемое «пространство действий» — механизм, который позволяет ИИ понимать и облегчать естественный разговор, но гарантирует, что каждый возможный ответ ограничен заранее определённой, одобренной логикой.
Благодаря встроенным параметрам контроля ответов агенты могут ссылаться только на проверенные протоколы, заранее определённые рабочие процедуры и нормативные стандарты. Творческие способности модели используются для управления взаимодействием, а не для импровизации фактов. Так лидеры здравоохранения могут полностью исключить риск галлюцинаций — не путём тестирования на пилотной группе или в одной фокус-группе, а путём исключения риска на начальном этапе.
Специализированные графы знаний могут обеспечить надёжные обмены
Контекст каждого разговора в сфере здравоохранения глубоко индивидуален. У двух человек с диабетом 2 типа может быть одинаковый профиль риска, но право на конкретное лекарство будет зависеть от их истории болезни, рекомендаций врача, плана страхования и формулярных правил.
ИИ-агентам не только нужен доступ к этому контексту, но и возможность работать с ним в режиме реального времени. Специализированный граф знаний обеспечивает такую возможность. Это структурированный способ представления информации из нескольких надёжных источников, который позволяет агентам проверять услышанное и гарантировать, что предоставляемая ими информация является точной и персонализированной. Агенты без этого уровня могут звучать осведомлённо, но на самом деле они просто следуют жёстким рабочим процессам и заполняют пробелы.
Надёжные системы проверки могут оценить точность
Пациент может закончить разговор с ИИ-агентом и почувствовать удовлетворение, но работа для агента ещё далека от завершения. Медицинские организации должны быть уверены, что агент не только предоставил правильную информацию, но и понял и задокументировал взаимодействие. Именно здесь на помощь приходят автоматизированные системы постобработки.
Надёжная система проверки должна оценивать каждый разговор с тем же пристальным вниманием, с каким это сделал бы человек-супервайзер, располагающий неограниченным временем. Она должна уметь определять, был ли ответ точным, гарантировать, что была зафиксирована нужная информация, и определять, требуется ли последующее наблюдение. Если что-то не так, агент должен иметь возможность обратиться к человеку, но если всё в порядке, задача может быть снята с списка дел с уверенностью.
Помимо этих трёх основополагающих элементов, необходимых для формирования доверия, каждая агентская ИИ-инфраструктура нуждается в надёжной системе безопасности и соответствия требованиям, которая защищает данные пациентов и обеспечивает работу агентов в регулируемых границах. Эта структура должна включать строгое соблюдение общепринятых отраслевых стандартов, таких как SOC 2 и HIPAA, а также встроенные процессы для тестирования на предвзятость, редактирования защищённой медицинской информации и хранения данных.
Эти меры безопасности не просто выполняют требования соответствия. Они формируют основу заслуживающей доверия системы, которая может гарантировать, что каждое взаимодействие будет управляться на уровне, ожидаемом пациентами и поставщиками услуг.
Здравоохранение не нуждается в дополнительной шумихе вокруг ИИ. Ему нужна надёжная ИИ-инфраструктура. В случае с агентским ИИ доверие не будет зарабатываться столько, сколько оно будет проектироваться.