Google предостерегает от использования кодов состояния 403 или 404 для ограничения скорости сканирования Googlebot

Google предостерегает от использования 404 и других ошибок состояния клиентского сервера 4xx, таких как 403, с целью установки ограничения скорости сканирования для робота Googlebot. «Пожалуйста, не делайте этого», — написал Гэри Иллиес из команды Google Search Relations.

Почему уведомление. В последнее время увеличилось количество сайтов и сетей доставки контента, использующих эти методы, чтобы попытаться ограничить сканирование Googlebot. «За последние несколько месяцев мы заметили всплеск числа владельцев веб-сайтов и некоторых сетей доставки контента (CDN), пытающихся использовать 404 и другие 4xx ошибки клиента (но не 429), чтобы попытаться снизить скорость сканирования Googlebot», — написал Гэри Иллиес.

Что делать вместо этого. У Google есть подробный справочный документ как раз по теме уменьшения сканирования роботом Googlebot вашего сайта. Рекомендуемый подход — использовать настройки скорости сканирования Google Search Console, чтобы настроить скорость сканирования.

Google объяснил: «Чтобы быстро снизить скорость сканирования, вы можете изменить скорость сканирования Googlebot в Search Console. Изменения, внесенные в этот параметр, обычно отражаются в течение нескольких дней. Чтобы использовать этот параметр, сначала подтвердите право собственности на сайт. Убедитесь, что вы не устанавливаете для скорости сканирования значение, слишком низкое для нужд вашего сайта. Узнайте больше о том, что означает краулинговый бюджет для робота Googlebot. Если настройки скорости сканирования недоступны для вашего сайта, отправьте специальный запрос на снижение скорости сканирования. Вы не можете запросить увеличение скорости сканирования».

Если вы не можете этого сделать, Google затем говорит: «Снизьте скорость сканирования на короткий период времени (например, на пару часов или 1-2 дня), затем верните информационную страницу с ошибкой 500, 503 или 429 Код состояния ответа HTTP».

Почему мы заботимся. Если вы заметили проблемы со сканированием, возможно, ваш хостинг-провайдер или CDN недавно применили эти методы. Вы можете отправить им запрос в службу поддержки, чтобы показать им сообщение в блоге Google по этой теме, чтобы убедиться, что они не используют ошибки 404 или 403 для снижения скорости сканирования.