Когда гигант веб-инфраструктуры Cloudflare обвинил поисковую систему на основе ИИ Perplexity в скрытом парсинге сайтов и игнорировании ограничений на сканирование, это казалось очевидным случаем неправомерного поведения ИИ. Компания, предоставляющая услуги безопасности и производительности миллионам веб-сайтов, обладает уникальной информацией о паттернах интернет-трафика, что дает ей особый авторитет в выявлении нарушителей. Однако последующие дебаты показали, что ситуация не столь однозначна — речь идет о фундаментальном вопросе: можно ли считать доступ ИИ-агента к сайту от имени пользователя эквивалентом прямого посещения этого сайта человеком?
Cloudflare провела эксперимент: создала новый сайт с ранее не сканировавшимся доменом, установила файл robots.txt, явно запрещающий доступ ботам Perplexity, и запросила у ИИ-поисковика информацию с этого ресурса. Perplexity предоставила ответ, используя, согласно данным Cloudflare, «универсальный браузер, имитирующий Google Chrome на macOS», когда её основной веб-краулер был заблокирован. Гендиректор Cloudflare Мэтью Принс опубликовал исследование в X, заявив: «Некоторые якобы „респектабельные“ ИИ-компании ведут себя как хакеры из Северной Кореи. Пора называть их имена, стыдить и жестко блокировать».
Однако многие не согласились с такой оценкой. Защитники Perplexity на платформах вроде X и Hacker News указывали, что Cloudflare зафиксировала доступ ИИ к публичному сайту именно по запросу пользователя. «Если я как человек запрашиваю сайт, мне должны показать контент. Почему доступ LLM от моего имени должен юридически отличаться от запроса через Firefox?» — написал один из комментаторов.
Perplexity официально отвергла обвинения, назвав публикацию Cloudflare рекламным ходом, а позже объяснила спорное поведение использованием стороннего сервиса. В своём блоге компания заявила: «Разница между автоматическим сканированием и пользовательскими запросами — не только техническая. Речь о том, кто имеет право на доступ к информации в открытой сети. Cloudflare неспособна отличить легитимные ИИ-ассистенты от реальных угроз».
Cloudflare, в свою очередь, привела в пример OpenAI, которая соблюдает robots.txt и участвует в разработке стандарта Web Bot Auth для криптографической идентификации ИИ-запросов. Спор разворачивается на фоне беспрецедентного роста активности ботов: по данным отчёта Imperva, 50% интернет-трафика сейчас генерируют ИИ, причём 37% — вредоносные боты. Сайты традиционно блокируют ботов через CAPTCHA и сервисы вроде Cloudflare, сотрудничая лишь с «хорошими акторами» вроде Googlebot.
Однако эра LLM меняет правила: аналитики Gartner прогнозируют снижение поискового трафика на 25% к 2026 году. Если агенты ИИ начнут массово бронировать билеты, заказывать еду и совершать покупки, блокировка таких запросов может повредить бизнесу сайтов. «Я ХОЧУ, чтобы Perplexity посещал публичный контент по моему запросу!» — пишет один пользователь X. «А если владельцы сайтов хотят прямого трафика и рекламных доходов?» — возражает другой. Третий предрекает: «Веб-мастера просто заблокируют агентный просмотр — это сложнее, чем кажется».