«Pay Per Crawl» от Cloudflare

Технически это реализовано через использование кода HTTP 402 «Payment Required». Когда бот обращается к сайту, сервер может ответить либо обычным доступом, либо сообщением о необходимости оплаты. Cloudflare выступает посредником, который обрабатывает такие платежи и перечисляет доход владельцам сайтов. Таким образом, создаётся новая модель: вместо того чтобы безвозмездно отдавать данные, администраторы сайтов могут монетизировать трафик AI-краулеров.

Компания заявляет, что её цель — вернуть владельцам контента контроль над собственными материалами. До этого у них было лишь два варианта: открывать данные всем ботам или блокировать их полностью. Теперь появилась «третья опция» — возможность заработать на сканировании. Cloudflare позиционирует это как справедливый инструмент, который может уравновесить отношения между создателями контента и компаниями, развивающими AI.

Ведущие игроки в сфере искусственного интеллекта отнеслись к нововведению настороженно. OpenAI, например, отказалась участвовать в пилотном проекте, предпочтя оставаться в рамках собственных соглашений с партнёрами. Google оказался в более выгодной позиции: его поисковый бот по-прежнему исключён из системы оплаты, что позволяет компании продолжать работать без ограничений. Другие компании, такие как Anthropic, пока воздерживаются от комментариев, но аналитики отмечают, что у них есть стимулы искать альтернативные пути доступа к данным — от закупки готовых наборов данных до использования прокси и обходных решений.

SEO-специалисты разделились во мнениях. Скептики указывают на риск падения видимости сайтов в результатах AI-поиска. Если владельцы включат блокировку по умолчанию, их контент может просто исчезнуть из ответов чат-ботов и ассистентов. Это особенно тревожит бизнесы, зависящие от трафика. Эксперты также обращают внимание на путаницу: администраторы должны будут следить за множеством настроек, а ошибка может привести к потере значимой аудитории.

С другой стороны, сторонники Pay Per Crawl считают его шагом к справедливости. Многие отмечают, что годы подряд AI-компании бесплатно пользовались чужим контентом, и пришло время уравновесить систему. Некоторые специалисты называют инициативу долгожданной возможностью для издателей и крупных медиа монетизировать ценность своих данных, а также стимулировать развитие новых бизнес-моделей.

Pay Per Crawl может оказать заметное влияние на цифровую экосистему. Для издателей это шанс получить дополнительный источник дохода, для AI-компаний — необходимость учитывать новые расходы при обучении и работе моделей. В перспективе подобные механизмы могут привести к частичной «фрагментации интернета»: одни сайты будут доступны ботам бесплатно, другие только за деньги, а третьи вовсе закроют двери.

Если инициатива получит широкое распространение, то у издателей появится больше рычагов влияния на AI-компании. В то же время существует риск усиления позиций крупных игроков, таких как Google, которые уже обладают исключениями и могут продолжать работать в прежнем режиме. Таким образом, Pay Per Crawl можно рассматривать как начало перехода к новой «экономике данных», где доступ к информации регулируется не только техническими, но и финансовыми барьерами.