Построение доверия к ИИ — новая норма
ИИ стремительно развивается, и, как и любая быстро созревающая технология, требует чётко определённых границ — ясных, продуманных и созданных не только для ограничения, но и для защиты и расширения возможностей. Это особенно актуально, поскольку ИИ практически встроен в каждый аспект нашей личной и профессиональной жизни.
Мы, лидеры в области ИИ, находимся на поворотном этапе. С одной стороны, у нас есть модели, которые учатся и адаптируются быстрее, чем любая технология до этого. С другой — растущая ответственность за их безопасность, честность и соответствие человеческим ценностям. Это не роскошь — это основа действительно заслуживающего доверия ИИ.
Почему доверие имеет наибольшее значение сегодня
За последние несколько лет были достигнуты значительные успехи в области языковых моделей, мультимодального мышления и агентского ИИ. Но с каждым шагом вперёд ставки становятся выше. ИИ влияет на бизнес-решения, и мы видели, что даже небольшие ошибки имеют серьёзные последствия.
Например, использование ИИ в зале суда. Мы все слышали истории о юристах, полагающихся на сгенерированные ИИ аргументы, только чтобы обнаружить, что модели сфабриковали дела, иногда приводя к дисциплинарным взысканиям или, что ещё хуже, потере лицензии.
На самом деле, было доказано, что юридические модели галлюцинируют как минимум в одном из каждых шести тестовых запросов. Ещё более тревожны случаи, подобные трагическому случаю с участием Character.AI, где чат-бот был связан с самоубийством подростка.
Эти примеры подчёркивают реальные риски неконтролируемого ИИ и критическую ответственность, которую мы несём как технологические лидеры, не просто создавая более умные инструменты, но и строя ответственно, с человечностью в основе.
Эволюция безопасного, согласованного ИИ
Защитные механизмы не новы. В традиционном программном обеспечении у нас всегда были правила проверки, ролевой доступ и проверки соответствия. Но ИИ вводит новый уровень непредсказуемости: эмерджентное поведение, непредвиденные результаты и непрозрачные рассуждения.
Современная безопасность ИИ теперь многогранна. Некоторые основные концепции включают:
* поведенческую согласованность с помощью таких методов, как обучение с подкреплением на основе обратной связи от человека (RLHF) и конституционный ИИ, когда вы даёте модели набор руководящих «принципов» — своего рода мини-этический кодекс;
* системы управления, которые интегрируют политику, этику и циклы проверки;
* инструменты в реальном времени для динамического обнаружения, фильтрации или исправления ответов.
Анатомия защитных механизмов ИИ
McKinsey определяет защитные механизмы как системы, предназначенные для мониторинга, оценки и исправления контента, созданного ИИ, для обеспечения безопасности, точности и этической согласованности. Эти защитные механизмы основаны на сочетании компонентов, основанных на правилах, и компонентов, управляемых ИИ, таких как контролёры, корректоры и координирующие агенты, для обнаружения таких проблем, как предвзятость, личная информация (PII) или вредоносный контент, и автоматического уточнения выходных данных перед доставкой.
Давайте разберём это:
* Перед тем как запрос достигнет модели, входные защитные механизмы оценивают намерения, безопасность и разрешения на доступ.
* После того как модель выдаёт ответ, выходные защитные механизмы оценивают и уточняют его.
* Поведенческие защитные механизмы управляют поведением моделей с течением времени, особенно в многошаговых или контекстно-зависимых взаимодействиях.
Эти технические системы защитных механизмов работают лучше всего, когда они внедрены на нескольких уровнях стека ИИ. Модульный подход обеспечивает избыточность и отказоустойчивость защитных механизмов, отлавливая сбои в разных точках и снижая риск единичных точек отказа.
На уровне модели такие методы, как RLHF и конституционный ИИ, помогают формировать базовое поведение, встраивая безопасность непосредственно в то, как модель думает и отвечает. Промежуточный уровень взаимодействует с моделью для перехвата входных и выходных данных в режиме реального времени, фильтруя токсичный язык, сканируя на наличие конфиденциальных данных и перенаправляя при необходимости.
На уровне рабочего процесса защитные механизмы координируют логику и доступ в многошаговых процессах или интегрированных системах, обеспечивая соблюдение правил, следование бизнес-правилам и предсказуемое поведение ИИ в сложных средах.
На более широком уровне системные и управленческие защитные механизмы обеспечивают надзор на протяжении всего жизненного цикла ИИ. Журналы аудита обеспечивают прозрачность и отслеживаемость, процессы с участием человека обеспечивают экспертную проверку, а средства контроля доступа определяют, кто может изменять или вызывать модель.
Конверсационный ИИ: где защитные механизмы действительно проходят проверку
Конверсационный ИИ ставит перед собой ряд задач: взаимодействие в реальном времени, непредсказуемый пользовательский ввод и высокая планка для поддержания полезности и безопасности. В этих условиях защитные механизмы — это не просто фильтры контента — они помогают формировать тон, устанавливать границы и определять, когда следует активизировать или отклонить чувствительные темы.
В передовых средах, таких как обслуживание клиентов или полевые операции, для ошибок остаётся ещё меньше места. Один галлюцинаторный ответ или неверный ответ могут подорвать доверие или привести к реальным последствиям. Поэтому мы, как поставщики технологий, должны взять на себя полную ответственность за ИИ, который мы передаём в руки наших клиентов.
Кибербезопасность в эпоху ИИ-атак
Киберприступы больше не являются ручными, линейными операциями
С внедрением ИИ в наступательные стратегии злоумышленники разрабатывают полиморфное вредоносное ПО, автоматизируют разведку и обходят защиту быстрее, чем многие группы безопасности могут отреагировать. Это не сценарий будущего, это происходит сейчас.
В то же время большинство защитных мер в области безопасности по-прежнему реактивны. Они полагаются на выявление известных индикаторов компрометации, применение исторических моделей атак и выявление рисков на основе оценок серьёзности, которые могут не отражать реальный ландшафт угроз.
Почему существует этот разрыв
Индустрия кибербезопасности давно опирается на такие показатели риска, как CVSS, для определения приоритетов уязвимостей. Однако оценки CVSS не отражают реальный контекст инфраструктуры организации, например, является ли уязвимость открытой, доступной или используемой в рамках известного пути атаки.
В результате группы безопасности тратят драгоценное время на устранение неисправимых проблем, в то время как злоумышленники находят творческие способы объединить упущенные слабости и обойти средства контроля.
Ситуация усложняется фрагментированной природой стека безопасности. SIEM, системы обнаружения конечных точек и реагирования (EDR), инструменты управления уязвимостями (VM) и платформы управления безопасностью в облаке (CSPM) работают независимо. Эта разрозненная телеметрия создаёт слепые зоны, которые ИИ-злоумышленники всё чаще умеют использовать.
Снижение ценности традиционных методов обнаружения
Одна из наиболее тревожных тенденций в современной кибербезопасности — снижение ценности традиционных методов обнаружения. Статические сигнатуры и оповещения на основе правил были эффективны, когда угрозы следовали предсказуемым шаблонам. Но атаки, сгенерированные ИИ, не подчиняются этим правилам. Они мутируют код, уклоняются от обнаружения и адаптируются к средствам контроля.
Возьмите, к примеру, полиморфное вредоносное ПО, которое меняет свою структуру при каждом развёртывании. Или сгенерированные ИИ фишинговые письма, которые имитируют стиль общения руководителей с пугающей точностью. Эти угрозы могут полностью ускользнуть от инструментов, основанных на сигнатурах.
Если группы безопасности продолжат полагаться на выявление того, что уже было замечено, они останутся на шаг позади злоумышленников, которые постоянно внедряют инновации.
Регуляторное давление растёт
Проблема заключается не только в технических аспектах, но и в нормативных. Комиссия по ценным бумагам и биржам США (SEC) недавно ввела новые правила раскрытия информации о кибербезопасности, требующие от публичных компаний сообщать о существенных инцидентах, связанных с кибербезопасностью, и описывать свои стратегии управления рисками в режиме реального времени.
Большинство организаций не готовы к такому сдвигу. У них нет возможности в режиме реального времени оценить, эффективны ли их текущие средства контроля безопасности против сегодняшних угроз, особенно по мере того, как ИИ продолжает развивать эти угрозы с машинной скоростью.
Приоритезация угроз нарушена
Основная проблема заключается в том, как организации расставляют приоритеты в своей работе. Большинство по-прежнему полагаются на статические системы оценки рисков, чтобы определить, что и когда нужно исправить. Эти системы редко учитывают среду, в которой существует уязвимость, а также то, является ли она открытой, доступной или используемой.
Это привело к тому, что группы безопасности тратят значительное время и ресурсы на устранение уязвимостей, которые не могут быть атакованы, в то время как злоумышленники находят способы объединить упущенные проблемы с более низкой оценкой, чтобы получить доступ.
Традиционная модель «нашёл и исправил» стала неэффективным и зачастую неэффективным способом управления киберрисками.
Проактивная, ориентированная на пути атак защита
Что, если бы вместо того, чтобы реагировать на оповещения, группы безопасности могли бы непрерывно моделировать, как реальные злоумышленники пытались бы проникнуть в их среду, и исправлять только то, что имеет наибольшее значение?
Этот подход, часто называемый непрерывной проверкой безопасности или симуляцией пути атаки, набирает обороты как стратегический сдвиг. Вместо того чтобы рассматривать уязвимости изолированно, он отображает, как злоумышленники могут объединить неправильные настройки, слабые места идентификации и уязвимые активы для доступа к критическим системам.
Рекомендации для директоров по информационной безопасности и руководителей служб безопасности
* Внедряйте непрерывное моделирование атак. Используйте автоматизированные инструменты эмуляции злоумышленников на основе ИИ, которые тестируют ваши средства контроля так, как это делали бы настоящие злоумышленники. Эти симуляции должны проводиться постоянно, а не только во время ежегодных упражнений с «красной командой».
* Расставляйте приоритеты по возможности эксплуатации, а не по серьёзности. Выходите за рамки оценок CVSS. Включите анализ путей атак и контекстуальную проверку в свои модели рисков.
* Унифицируйте свою телеметрию безопасности. Консолидируйте данные из SIEM, CSPM, EDR и платформ VM в централизованный, коррелированный вид. Это позволит провести анализ путей атак и улучшит вашу способность обнаруживать сложные, многоступенчатые вторжения.
* Автоматизируйте проверку защиты. Переходите от ручного проектирования обнаружения к проверке на основе ИИ. Используйте машинное обучение, чтобы ваши стратегии обнаружения и реагирования развивались вместе с угрозами, которые они призваны остановить.
* Модернизируйте отчётность о киберрисках. Замените статические панели управления рисками на оценки экспозиции в режиме реального времени.
Организации, которые перейдут к непрерывной проверке и приоритизации на основе возможности эксплуатации, могут ожидать ощутимых улучшений по нескольким параметрам операций безопасности. Сосредоточившись только на действенных, высокоприоритетных угрозах, группы безопасности могут снизить усталость от оповещений и устранить отвлекающие факторы, вызванные ложными срабатываниями или неисправимыми уязвимостями.
Время адаптироваться настало
Эпоха киберпреступлений, управляемых ИИ, больше не является прогнозом, это настоящее. Злоумышленники используют ИИ, чтобы найти новые пути. Группы безопасности должны использовать ИИ, чтобы закрыть их.
Речь идёт не о том, чтобы добавлять больше оповещений или работать быстрее. Речь идёт о том, чтобы знать, какие угрозы имеют значение, непрерывно проверять свои средства защиты и согласовывать стратегию с реальным поведением злоумышленников. Только тогда защитники смогут вернуть себе преимущество в мире, где ИИ переписывает правила игры.
Может ли ИИ решить проблему одиночества?
Одиночество как эпидемия
Вы живёте в эпоху постоянных сигналов и кликов, но ваш личный круг общения стремительно сокращается. Согласно отчёту главного хирурга США за 2023 год, подростки в возрасте от 15 до 24 лет теперь проводят почти на 70 % меньше времени лицом к лицу с друзьями, чем в 2003 году. Это падение настолько серьёзно, что его классифицируют как чрезвычайную ситуацию в области общественного здравоохранения.
За этим числом стоит более широкий разрыв. Отчёт Гарвардской высшей школы образования показал, что 36 % американцев — включая 61 % молодых людей и 51 % матерей с маленькими детьми — говорят, что испытывают «серьёзное одиночество».
Одиночество — это больше, чем плохое настроение — оно подавляет иммунитет, повышает уровень кортизола и повышает риск сердечно-сосудистых заболеваний до уровня, сравнимого с курением пачки сигарет в день. Ваше тело, короче говоря, ведёт подсчёт, когда ваш социальный календарь пустеет.
ИИ как решение
Рост ИИ привёл к уникальным вариантам использования, в том числе к тому, что люди используют ИИ в качестве друзей и компаньонов. Они задают вопросы, рассказывают о своих проблемах и общаются с этими отзывчивыми роботами таким образом, что выстраивают связи. Вопрос больше не в том, войдёт ли ИИ в арену одиночества, а в том, как и будет ли он мостом или барьером.
Надежда в машине?
Гарвардская школа бизнеса в статье «ИИ-компаньоны уменьшают одиночество» провела шесть исследований с участием более 600 школьников. Исследователи обнаружили, что 15-минутный разговор с тонко настроенной языковой моделью «компаньона» снижает одиночество так же эффективно, как и разговор с другим человеком, если бот заставляет пользователей чувствовать себя «услышанными».
Идея вышла за пределы кампусов. В Нью-Йорке более 800 участников получили робота размером с письменный стол, и 95 % сообщили о снижении одиночества через месяц. Многие даже принимали подсказки, чтобы выпить воды, выйти на улицу или позвонить родственнику. Однако разработчики робота осторожны, называя его «дополнением» к человеческому взаимодействию, а не заменой.
Исследователи предупреждают, что приложения для знакомств могут превратиться в парасоциальные ловушки — никогда не нетерпеливые, всегда на связи и тонко поощряющие уход от человеческих связей. Их эксперименты связывают интенсивное использование ботов с избеганием реальных связей, предполагая, что плохо разработанный ИИ может углубить, а не устранить рану, которую он пытается вылечить.
ИИ сближает или отдаляет?
Социальный след ИИ находится внутри истории о справедливости. Глобальный опрос McKinsey за 2021 год показал, что 56 % компаний, базирующихся в странах с развивающейся экономикой, внедрили ИИ по крайней мере в одной бизнес-функции, часто опережая пробелы в инфраструктуре. Это важно, потому что изоляция, по-видимому, сосредоточена там, где возможностей мало.
Например:
* Здравоохранение. Некоммерческая платформа CareMessage запустила свой механизм обеспечения справедливости в здравоохранении в 2024 году. Он включает в себя ИИ-помощника, который анализирует текстовые ответы пациентов на наличие маркеров транспортной или продовольственной небезопасности и снижает количество пропусков приёмов в клиниках, работающих в рамках системы социального обеспечения.
* Образование. Адаптивные системы обучения, такие как Lalilo, тестируют студентов, используя различные упражнения для анализа сильных сторон и областей роста, чтобы они могли учиться в индивидуальном темпе.
Когда системы ИИ разработаны для инклюзивности, они могут устранить коренные причины одиночества, такие как языковые барьеры, ограниченный транспорт или бедность. Однако без защитных механизмов диалекты с недостаточным объёмом данных искажаются, а регионы с низкой пропускной способностью остаются позади.
Что ИИ не может вам дать
Даже самая сложная языковая модель не имеет запаха, кожи и зрительного контакта. Работа ТУ Дрездена за 2024 год о социально-аффективном прикосновении показывает, что физический контакт с человеком может активировать C-тактильные волокна, высвобождать окситоцин и снижать уровень кортизола — сдвиги, которые экран не может воспроизвести.
Почему человеческое общение всё ещё имеет значение
* Разделение неопределённости. Настоящие друзья удивляют вас, и ошибки в предсказаниях создают эмпатию, которую не может обеспечить чат на основе скриптов.
* Тактильная ко-регуляция. Объятие стабилизирует частоту сердечных сокращений как у получателя, так и у дарителя. Ни один алгоритм не может синхронизировать ваши нервы через Wi-Fi.
* Полноспектральные сигналы. Микровыражения, синхронный смех и сдвиги позы тренируют социальный мозг.
* Совместное создание воспоминаний. Прохладная ночь, запахи свежесваренного кофе и скрип стула связывают переживания в долговременную память более богато, чем это могут сделать пиксели.
* Аутентичная подотчётность. Люди удерживают вас обещаниями, в то время как бот редко требует взаимности.
* Воплощённая интуиция. Тонкие сдвиги в языке тела, такие как постукивание друга ногой быстрее в стрессовой ситуации, подсказывают вам позаботиться о нём задолго до того, как будут произнесены слова.
* Эндокринная реакция. Физический контакт высвобождает серотонин, окситоцин и дофамин в количествах, которые роботы не могут вызвать.
ИИ может имитировать аспекты этих моментов, но не их полный смысл.
Куда идёт история ИИ
ИИ не решит эпидемию одиночества в одиночку, и он не должен обрекать вас на одиночество. Что он может сделать, так это усилить выбор, кодируемый его регуляторами, разработчиками и пользователями. Закрепите миссию по объединению сообщества, и ИИ станет мостом. Внедрите модель взаимодействия, и он углубится.
Пусть ИИ поможет вам найти эту дверь быстрее, напомнит вам о необходимости связаться или перевести приветствие. ИИ может помочь справиться с логистикой, но не с чем-то более глубоким. Используйте голосовых помощников, чтобы запланировать регулярные встречи за кофе, автоматически отправлять напоминания о днях рождения или репетировать с вами сложные извинения перед тем, как высказать их лицом к лицу.
В конце концов, закройте ноутбук, выйдите на улицу и взаимодействуйте со своим сообществом, чтобы построить ценные связи в реальном мире, которые ИИ не сможет разрушить.