Междисциплинарная исследовательская группа из Венского технического университета разработала метод, который позволяет точно рассчитать, насколько надёжно работает нейронная сеть в пределах заданного диапазона входных данных. Другими словами, теперь можно математически гарантировать, что определённые типы ошибок не возникнут — важный шаг вперёд для безопасного использования ИИ в чувствительных приложениях.
Проблема надёжности ИИ
Системы ИИ стали неотъемлемой частью нашей жизни — от смартфонов до беспилотных автомобилей. Но в приложениях, где безопасность имеет решающее значение, возникает один центральный вопрос: можем ли мы гарантировать, что система ИИ не совершит серьёзных ошибок, даже если её входные данные незначительно изменятся?
Решение от TU Wien
Команда из TU Wien — доктор Андрей Кофнов, доктор Даниэль Капла, профессор Эвстасия Бура и профессор Эзио Барточчи — объединив экспертов в области математики, статистики и информатики, нашла способ анализировать нейронные сети таким образом, чтобы точно определить возможный диапазон выходных данных для заданного диапазона входных данных — и исключить конкретные ошибки с уверенностью.
Статья опубликована на сервере препринтов arXiv. Исследование было принято к представлению на конференции ICML 2025.
«Нейронные сети обычно ведут себя предсказуемо — они выдают один и тот же результат каждый раз, когда вы подаёте на вход одни и те же данные», — говорит доктор Кофнов. «Но в реальном мире входные данные часто зашумлены или неопределённы и не всегда могут быть описаны одной фиксированной величиной. Эта неопределённость входных данных приводит к неопределённости выходных данных».
«Представьте себе нейронную сеть, которая получает на вход изображение и должна определить животное на нём», — говорит профессор Эзио Барточчи. «Что произойдёт, если изображение будет слегка изменено? Другая камера, немного больше шума, изменения освещения — может ли это привести к тому, что ИИ внезапно неверно классифицирует то, что он видит?»
«Понимание всего диапазона возможных выходных данных помогает принимать более взвешенные и безопасные решения, особенно в таких важных областях, как финансы, здравоохранение или инженерия», — добавляет Кофнов. «Вычисляя вероятность возможных выходных данных, мы можем ответить на важные вопросы, например: какова вероятность экстремального исхода? Каков уровень риска?»
Такие вопросы сложно решить с помощью традиционного тестирования. Хотя можно попробовать множество сценариев, полное покрытие всех возможных входных данных практически невозможно. Всегда могут существовать редкие крайние случаи, которые не были протестированы — и в которых система даёт сбой.
Геометрический подход
Решение, разработанное в TU Wien, использует геометрический подход: «Множество всех возможных входных данных — например, все возможные изображения, которые могут быть переданы в такую систему ИИ — можно представить как пространство, геометрически похожее на наш трёхмерный мир, но с произвольным количеством измерений», — объясняет профессор Бура. «Мы разбиваем это многомерное пространство на более мелкие подобласти, каждую из которых можно точно проанализировать, чтобы определить выходные данные, которые нейронная сеть будет выдавать для входных данных из этой области».
Это позволяет математически количественно оценить вероятность диапазона выходных данных — потенциально исключая ошибочные результаты со 100% уверенностью.
Теория пока неприменима к крупномасштабным нейронным сетям, таким как большие языковые модели. «ИИ вроде ChatGPT слишком сложен для этого метода», — говорит Капла. «Анализ потребует невообразимого количества вычислительных мощностей». «Но мы показали, что по крайней мере для небольших нейронных сетей возможна строгая количественная оценка ошибок», — добавляет он.
Метод был разработан в рамках докторантуры SecInt в TU Wien, которая способствует междисциплинарному сотрудничеству в области ИТ-безопасности. Этические вопросы и социальное воздействие технологий также играют центральную роль в программе.
Профессор Барточчи и профессор Бура работали вместе с доктором Кофновом (бывшим аспирантом и нынешним постдоком) и доктором Каплой (постдоком) над разработкой этого нового метода, объединив идеи из теории ИИ, статистики и формальных методов.
Предоставлено Венским техническим университетом.