Cloudflare обязывает отделить AI-ботов до 15 сентября, цель — Google Gemini

Согласно Cloudflare, гигант инфраструктуры недавно объявил, что все ИИ-компании должны отделить поисковые краулеры от краулеров для обучения ИИ до 15 сентября 2026 года, иначе столкнутся с полной блокировкой. Cloudflare, управляющий примерно 20% мирового веб-трафика, привел данные, показывающие, что трафик автоматизированных ботов уже превысил человеческий трафик в первой половине 2026 года — переломный момент, который, по прогнозам аналитиков отрасли, должен был наступить на год позже.

Google сталкивается с наиболее значительным влиянием из-за своей 90-процентной доли на рынке поиска, поскольку в настоящее время использует Googlebot как для индексации, так и для обучения своей модели Gemini. Компания должна выбрать между потерей доступа к 20% индексированных страниц или разделением своих краулеров и риском нехватки данных для обучения ИИ. Напротив, OpenAI уже разделил GPTBot для сбора обучающих данных и ChatGPT-User для веб-запросов в реальном времени.