Системы искусственного интеллекта, такие как ChatGPT, дают правдоподобные ответы на любые вопросы. Однако они не всегда показывают пробелы в своих знаниях или области, в которых они не уверены. Эта проблема может иметь серьёзные последствия, поскольку ИИ-системы всё чаще используются для разработки лекарств, синтеза информации и управления автономными транспортными средствами.
Компания Themis AI, созданная на базе MIT, помогает количественно оценить неопределённость модели и корректировать выходные данные, прежде чем они вызовут более серьёзные проблемы. Платформа Capsa компании может работать с любой моделью машинного обучения для обнаружения и исправления ненадёжных выходных данных за считанные секунды. Она работает путём модификации моделей ИИ, чтобы они могли обнаруживать закономерности в своей обработке данных, которые указывают на неоднозначность, неполноту или предвзятость.
«Идея состоит в том, чтобы взять модель, обернуть её в Capsa, выявить неопределённости и режимы отказа модели, а затем улучшить модель», — говорит соучредитель Themis AI и профессор MIT Даниела Рус, которая также является директором Лаборатории компьютерных наук и искусственного интеллекта MIT (CSAIL). «Мы рады предложить решение, которое может улучшить модели и дать гарантии того, что модель работает правильно».
Рус основала Themis AI в 2021 году вместе с Александром Амини и Элахе Ахмади, двумя бывшими научными сотрудниками её лаборатории. С тех пор они помогали телекоммуникационным компаниям в планировании сетей и автоматизации, помогали нефтяным и газовым компаниям использовать ИИ для понимания сейсмических изображений и публиковали статьи о разработке более надёжных и заслуживающих доверия чат-ботов.
«Мы хотим использовать ИИ в приложениях с высокими ставками в каждой отрасли», — говорит Амини. «Мы все видели примеры того, как ИИ галлюцинирует или совершает ошибки. По мере более широкого внедрения ИИ эти ошибки могут привести к разрушительным последствиям. Themis делает возможным, чтобы любой ИИ мог прогнозировать и предсказывать свои собственные сбои до того, как они произойдут».
Лаборатория Даниелы Рус
Лаборатория Рус уже много лет изучает неопределённость моделей. В 2018 году она получила финансирование от Toyota для изучения надёжности автономного вождения на основе машинного обучения.
«Это критически важный для безопасности контекст, где понимание надёжности модели очень важно», — говорит Рус.
В отдельной работе Рус, Амини и их соавторы создали алгоритм, который может обнаруживать расовые и гендерные предубеждения в системах распознавания лиц и автоматически перераспределять обучающие данные модели, показывая, что это устраняет предвзятость. Алгоритм работал, выявляя нерепрезентативные части исходных обучающих данных и генерируя новые, аналогичные образцы данных для их балансировки.
В 2021 году будущие соучредители показали, что аналогичный подход может быть использован, чтобы помочь фармацевтическим компаниям использовать модели ИИ для прогнозирования свойств кандидатов в лекарства. Они основали Themis AI позже в том же году.
«Направляя поиск лекарств, можно потенциально сэкономить много денег», — говорит Рус. «Это был пример использования, который заставил нас понять, насколько мощным может быть этот инструмент».
Сегодня Themis AI работает с предприятиями в различных отраслях, и многие из этих компаний создают большие языковые модели. Используя Capsa, эти модели могут количественно определять свою неопределённость для каждого результата.
«Многие компании заинтересованы в использовании языковых моделей, основанных на их данных, но их беспокоит надёжность», — отмечает Стюарт Джеймисон, глава отдела технологий Themis AI. «Мы помогаем языковым моделям самостоятельно сообщать о своей уверенности и неопределённости, что позволяет более достоверно отвечать на вопросы и отмечать ненадёжные результаты».
Работа с предприятиями
Themis AI также ведёт переговоры с полупроводниковыми компаниями, создающими ИИ-решения на своих чипах, которые могут работать вне облачных сред.
«Обычно эти более мелкие модели, которые работают на телефонах или встроенных системах, не очень точны по сравнению с тем, что можно запустить на сервере, но мы можем получить лучшее из обоих миров: низкую задержку, эффективные периферийные вычисления без ущерба для качества», — объясняет Джеймисон. «Мы видим будущее, в котором периферийные устройства выполняют большую часть работы, но всякий раз, когда они не уверены в своих результатах, они могут передавать эти задачи на центральный сервер».
Фармацевтические компании также могут использовать Capsa для улучшения моделей ИИ, используемых для выявления кандидатов в лекарства и прогнозирования их эффективности в клинических испытаниях.
«Прогнозы и выходные данные этих моделей очень сложны и трудно интерпретируемы — эксперты тратят много времени и усилий, пытаясь разобраться в них», — отмечает Амини. «Capsa может дать представление о том, насколько обоснованы прогнозы в обучающем наборе, а не являются ли они просто спекуляциями без достаточного обоснования. Это может ускорить выявление наиболее сильных прогнозов, и мы считаем, что это имеет огромный потенциал для блага общества».
Исследования для достижения результата
Команда Themis AI считает, что компания имеет хорошие возможности для улучшения передовых технологий искусственного интеллекта. Например, компания изучает способность Capsa повышать точность в технике искусственного интеллекта, известной как «рассуждение по цепочке мыслей», в которой языковые модели объясняют шаги, которые они предпринимают для получения ответа.
«Мы видели признаки того, что Capsa может помочь направлять эти процессы рассуждения для выявления цепочек рассуждений с наивысшей достоверностью», — говорит Джеймисон. «Мы думаем, что это имеет огромное значение с точки зрения улучшения работы с языковыми моделями, снижения задержек и требований к вычислениям. Это чрезвычайно важная для нас возможность».
Для Рус, которая основала несколько компаний с момента прихода в MIT, Themis AI — это возможность обеспечить влияние своих исследований в MIT.
«Мои студенты и я стали всё более увлечены тем, чтобы сделать нашу работу актуальной для мира», — говорит Рус. «ИИ имеет огромный потенциал для трансформации отраслей, но также вызывает опасения. Что меня волнует, так это возможность помочь разработать технические решения, которые решат эти проблемы, а также укрепят доверие и понимание между людьми и технологиями, которые становятся частью их повседневной жизни».