Google запустил GoogleOther, новый поисковый робот.
GoogleOther будет использоваться различными командами Google для внутреннего сканирования общедоступной сети, сказал Гэри Иллиес из Google в LinkedIn.
Он соблюдает те же директивы и протоколы, что и основной поисковый робот Googlebot, и освобождает некоторые ресурсы для основных поисковых роботов Googlebot.
GoogleДругое. Google добавил GoogleOther в свою документацию по поисковым роботам:
«Универсальный поисковый робот, который может использоваться различными продуктовыми группами для извлечения общедоступного контента с сайтов. Например, его можно использовать для одноразового обхода внутренних исследований и разработок. Искатель GoogleOther всегда соблюдает правила robots.txt для своего токена пользовательского агента и глобального пользовательского агента.
и использует те же диапазоны IP-адресов, что и Googlebot».
Обзор поисковых роботов Google (пользовательских агентов) Агент пользователя.
Токен пользовательского агента и полная строка пользовательского агента просты, это просто «GoogleOther». Почему новый бот?
- Этот новый бот «в конечном итоге снимет нагрузку с робота Google», пояснил Иллиес:
«По мере того как мы оптимизируем то, как и что сканирует робот Googlebot, мы хотели убедиться, что задания сканирования робота Googlebot используются только для внутреннего использования для построения индекса, используемого Поиском. Для этого мы добавили новый поисковый робот GoogleOther, который заменит некоторые другие функции робота Googlebot, такие как сканирование исследований и разработок, чтобы высвободить часть ресурсов сканирования для робота Googlebot». Google использует его для внутренних целей.
Означает ли это, что он используется для Барда? Это неясно. Стоит ли блокировать GoogleДругое?
Неясно, что произойдет, если вы попытаетесь заблокировать этого нового бота. Но я подозреваю, что вы должны следить за этим, и если это вызывает слишком большую нагрузку на ваш сервер, вы можете решить, хотите ли вы разрешить или запретить доступ к вашему сайту для этого нового Googlebot. Почему мы заботимся.
Многие из вас проверяют свои действия по сканированию и активности ботов на своем веб-сайте и в своих файлах журналов. Когда вы увидите этот новый поисковый робот GoogleOther, не пугайтесь. Это настоящий робот Google.
Подборка статей о ИТ компаниях. Обмен опытом. Обучение востребованным профессиям в сфере IT. Маркетинг. Анализ рынка. Полезная информация. Подпишитесь на нас в социальных сетях, что бы не пропустить важное.
Специальная подборка для Вас