Google не рекомендует снижать частоту сканирования сайта с кодом состояния 4xx.

Google не рекомендует использовать код состояния 404 и другие 4xx, чтобы уменьшить частоту сканирования вашего сайта роботом Googlebot.

За последние несколько месяцев мы наблюдаем всплеск числа владельцев сайтов, пытающихся использовать коды 404 и другие коды 4xx, чтобы снизить скорость сканирования Googlebot. Пожалуйста, не делайте этого. Лучше прочитать нашу документацию на эту тему и следовать рекомендациям.

Роботы Googlebot игнорируют любой контент, полученный от URL-адресов, которые возвращают код состояния 4xx, и не индексируют такие URL-адреса. В результате страницы с таким кодом статуса могут быть исключены из поиска Google. А если еще и файл robots.txt отдавать с такой ошибкой, то гуглу кажется, что его вообще нет, и робот проиндексирует все подряд. Единственным исключением является код состояния 429, что означает «слишком много запросов». Именно он покажет роботу, что сервер перегружен, и необходимо притормозить.

Чтобы ограничить частоту сканирования сайта роботом Googlebot, мы рекомендуем:

• Отрегулируйте частоту сканирования сайта в Google Search Console,
• Если вам срочно нужно снизить скорость сканирования на короткий период времени (например, на несколько часов или дней), вы можете вместо контента показать информационную страницу с кодом состояния HTTP 500, 503 или 429. Но Google не рекомендует использовать эту опцию более двух дней, так как URL, по которому робот Googlebot будет определять эти коды состояния в течение нескольких дней, может быть исключен из индекса Google.

Напомним, Google обновил документацию для веб-мастеров по ссылкам: в раздел добавлена ​​информация о правильном использовании анкорного текста, а также внутренних и внешних ссылок.

Источник: Центр поиска Google.