Cloudflare, облачный инфраструктурный провайдер, обслуживающий 20% веб-ресурсов, во вторник объявила о запуске новой платформы, которая переосмысливает взаимоотношения между владельцами сайтов и ИИ-компаниями, предоставляя издателям больше контроля над их контентом.
За последний год Cloudflare выпустила инструменты для борьбы с растущим числом ИИ-краулеров, включая функцию мгновенной блокировки всех ИИ-ботов и панель для мониторинга их активности на сайтах. В интервью 2024 года CEO компании Мэттью Принс заявил, что эти продукты закладывают основу для нового типа маркетплейса, где издатели смогут распространять контент среди ИИ-компаний за вознаграждение.
Теперь Cloudflare воплощает эту идею в жизнь.
Новая платформа под названием Pay per Crawl запущена в закрытом бета-тестировании. Участники эксперимента могут разрешать отдельным ИИ-краулерам сканировать свои сайты за микроплатеж за каждый «обход», полностью блокировать их или оставить доступ бесплатным. По заявлению Cloudflare, инструменты позволят владельцам сайтов видеть, собирают ли краулеры данные для тренировки ИИ, ответов в поиске или других целей.
В масштабе эта платформа может стать новой бизнес-моделью для издателей в эпоху ИИ, одновременно укрепив позиции Cloudflare как ключевого игрока. Её запуск происходит на фоне кризиса медиаиндустрии: трафик из Google Search снижается, а ИИ-чатботы набирают популярность. При этом отсутствуют чёткие решения, как издателям выжить. Например, The New York Times подал в суд на tech-компании за использование статей без разрешения, тогда как другие заключили сделки на лицензирование контента для ИИ-тренировок. Однако подобные соглашения пока доступны только крупным игрокам, а их экономическая эффективность остаётся под вопросом. Cloudflare стремится создать универсальную систему, где издатели сами устанавливают условия.
Также с 15 июля новые сайты на Cloudflare по умолчанию будут блокировать все ИИ-краулеры, требуя явного разрешения от владельцев. Ряд крупных изданий, включая Conde Nast, TIME и Associated Press, уже присоединились к этой инициативе, поддерживая «подход с обязательным согласием на сканирование».
Традиционная модель, где издатели разрешали Google сканировать сайты в обмен на трафик и рекламные доходы, теряет актуальность. По данным Cloudflare, в июне 2024-го соотношение сканирований к рефералам у Google составило 14:1, у OpenAI — 17,000:1, а у Anthropic — 73,000:1. При этом OpenAI и Google разрабатывают ИИ-агентов, которые смогут собирать информацию с сайтов и передавать её пользователям напрямую, что ставит под угрозу посещаемость медиаресурсов.
Cloudflare отмечает, что истинный потенциал Pay per Crawl раскроется в «агентном будущем», где ИИ-агенты смогут программатично взаимодействовать с контентом через микроплатежи. Например, исследовательский ИИ мог бы автоматически оплачивать доступ к последним научным статьям или обзорам ресторанов в рамках выделенного бюджета.
Для участия в маркетплейсе и издатели, и ИИ-компании должны иметь аккаунты в Cloudflare, где они устанавливают цены за сканирование. Компания выступает посредником, распределяя платежи. По словам представителя Cloudflare, на текущем этапе система не использует стейблкоины или криптовалюты, хотя такие варианты обсуждались.
Несмотря на амбициозность идеи, успех платформы зависит от готовности ИИ-компаний платить за контент, который они пока получают бесплатно. Тем не менее Cloudflare, благодаря своей доле на рынке, находится в уникальной позиции для реализации подобного решения.