Это может сильно ударить по работе непосредственно поисковика
Компания Cloudflare обвинила Perplexity — популярный ИИ-поисковик — в нарушении сетевых этикета и попытках скрыть активность своих ботов.
По данным Cloudflare, Perplexity использует обходные методы для сбора данных с сайтов, даже если те явно запрещают такую активность через файл robots.txt.
В частности, расследование показало, что когда сайты блокируют официальный бот Perplexity, тот переключается на неуказанные user-agent — например, маскируется под обычный браузер Chrome.
Также Perplexity якобы использует IP-адреса вне заявленного пула и постоянно меняет автономные системы (ASN), чтобы избежать обнаружения. Cloudflare отмечает, что подобное поведение было замечено на десятках тысяч сайтов и включало миллионы запросов ежедневно.
Больше не в белом списке
Из-за таких практик, Cloudflare исключила Perplexity из списка «проверенных ботов». Это значит, что сайты, использующие защиту Cloudflare, теперь будут относиться к его трафику с большим подозрением, а сам бот может сталкиваться с ограничениями или полной блокировкой.
CEO Okta уверен — через 5 лет программистов станет больше, а не меньшеtproger.ru
Для сравнения: компании вроде OpenAI указывают свои краулеры явно, уважают robots.txt и не пытаются обойти запреты. Cloudflare протестировала краулеры ChatGPT и подтвердила, что они прекращают сканирование при наличии disallow-директивы.
Эвристическая защита — автоматическая оборона
Чтобы остановить скрытые попытки краулинга, Cloudflare внедрила эвристическую защиту. Это не жесткая блокировка конкретного бота по имени, а система, которая отслеживает поведение: аномалии в частоте запросов, смену IP и другие признаки подозрительной активности.
Такая защита уже включена для всех клиентов Cloudflare — даже для тех, кто использует бесплатные тарифы. Пользователи с включенной бот-защитой автоматически получают защиту от обхода со стороны Perplexity и других похожих практик.
Перспективы: регулирование и стандарты
Cloudflare подчеркивает, что работает с экспертами по технической и политической части — в том числе с IETF — чтобы разработать новые расширения к robots.txt и зафиксировать стандарты поведения для «добросовестных» операторов ботов.
Это должно помочь отделять этичных игроков от тех, кто действует в обход.
Пока что же Perplexity, похоже, вступила в конфликт с одной из крупнейших инфраструктурных компаний в интернете. Если конфликт обострится, последствия могут затронуть видимость Perplexity в значительной части веба.