«Фантазии» ИИ — это убедительные, но ложные ответы. Они привлекают много внимания СМИ, как в недавней статье New York Times «ИИ становится всё мощнее, но его галлюцинации усиливаются».
Галлюцинации — это реальная опасность, особенно при работе с потребительскими чат-ботами. В контексте бизнес-приложений ИИ это ещё более серьёзная проблема. К счастью, как руководитель бизнес-технологий, я могу контролировать её. Я могу убедиться, что у агента есть нужные данные для получения осмысленного ответа.
Почему возникают галлюцинации
На самом деле всё просто. ИИ не пытается вам лгать. Каждая большая языковая модель (LLM) по сути предсказывает следующее слово или число на основе вероятности.
На высоком уровне происходит следующее: LLM последовательно соединяют предложения и абзацы, предсказывая следующее слово в предложении на основе миллиардов других примеров в обучающих данных.
Предки LLM (кроме Клиппи) были подсказками для автозаполнения текстовых сообщений и компьютерного кода, инструментами автоматического перевода человеческого языка и другими вероятностными лингвистическими системами. Благодаря увеличению вычислительной мощности и обучению на интернет-объёмах данных эти системы стали «достаточно умными», чтобы вести полноценный разговор в чате, как мир узнал с появлением ChatGPT.
Критики ИИ любят указывать, что это не то же самое, что настоящий «интеллект», а лишь программное обеспечение, которое может переваривать и извергать человеческий интеллект, заложенный в него. Попросите его обобщить данные в письменном отчёте, и он имитирует способ, которым другие авторы обобщали аналогичные данные.
Это кажется мне академическим аргументом, пока данные верны, а анализ полезен.
Но что происходит, если у ИИ нет данных? Он заполняет пробелы. Иногда это забавно, иногда — полный беспорядок.
При создании агентов ИИ это в 10 раз рискованнее. Агенты должны предоставлять действенные инсайты, но они принимают больше решений на этом пути. Они выполняют многоэтапные задачи, где результат шага 1 влияет на шаги 2, 3, 4, 5… 10… 20. Если результаты шага 1 неверны, ошибка будет усиливаться, делая вывод на шаге 20 ещё хуже. Особенно, когда агенты могут принимать решения и пропускать шаги.
Правильно созданные агенты приносят больше пользы бизнесу, который их внедряет. Однако мы, как менеджеры по продуктам ИИ, должны осознавать больший риск, связанный с большей наградой.
Именно это и сделала наша команда. Мы увидели риск и справились с ним. Мы не просто создали модного робота; мы убедились, что он работает на правильных данных.
Вот что, по моему мнению, мы сделали правильно:
1. Создали агента, который задаёт правильные вопросы и проверяет, есть ли у него нужные данные.
2. Убедимся, что первоначальный процесс ввода данных агентом на самом деле более детерминирован, менее «креативен». Вы хотите, чтобы агент говорил, когда у него нет нужных данных, и не переходил к следующему шагу, а не придумывал данные.
3. Структурировали план действий для вашего агента — убедитесь, что он не изобретает новый план каждый раз, а имеет полуструктурированный подход. Структура и контекст чрезвычайно важны на этапе сбора данных и анализа.
4. Создали качественный инструмент для извлечения данных. Это должно быть больше, чем просто вызов API. Потратьте время на написание кода (люди всё ещё этим занимаются), который собирает нужное количество и разнообразие данных, встраивая проверки качества в процесс.
5. Сделали так, чтобы агент показывал свою работу. Агент должен ссылаться на свои источники и давать ссылки, где пользователь может проверить данные из первоисточника и изучить их подробнее. Никаких хитростей!
6. Поставили ограждения: продумайте, что может пойти не так, и встройте защиту от ошибок, которые вы абсолютно не можете допустить.
Мы внедрили эти принципы в наш недавний выпуск трёх новых агентов, за которыми последуют другие. Например, наш агент по подготовке к встрече для продавцов не просто запрашивает название целевой компании, но и детали о цели встречи и с кем она будет проведена, что позволяет ему предоставить более качественный ответ. Ему не нужно гадать, потому что он использует обширные данные о компаниях, цифровые данные и профили руководителей для обоснования своих рекомендаций.
Наши агенты совершенны? Нет. Никто пока не создаёт идеального ИИ, даже самые крупные компании в мире. Но столкнуться с проблемой — это намного лучше, чем игнорировать её.
Хотите меньше галлюцинаций? Дайте вашему ИИ большой объём качественных данных.
Если он галлюцинирует, возможно, нужно не ИИ исправлять, а пересмотреть свой подход к использованию этих мощных новых возможностей, не вкладывая время и усилия в то, чтобы сделать их правильными.