Google объясняет варианты использования различных типов поисковых роботов.

Теперь Google добавил новые детали, которые объясняют три категории, в которые попадают его поисковые роботы Google. Они включают в себя Googlebot, специальные поисковые роботы и инициируемые пользователем сборщики.

Кроме того, Google теперь перечисляет файл в формате JSON, содержащий список IP-адресов, которые использует каждый из этих различных типов сканеров.

Типы поисковых роботов Google. В верхней части этой страницы Googlebot Google перечислил следующие три типа поисковых роботов:

• Googlebot – Основной сканер для поисковых продуктов Google. Google говорит, что этот сканер всегда соблюдает правила robots.txt.
• Гусеничные машины специального назначения – Поисковые роботы, выполняющие определенные функции (например, AdsBot), которые могут соблюдать или не соблюдать правила robots.txt.
• Сборщики, запускаемые пользователем – Инструменты и функции продукта, в которых конечный пользователь инициирует выборку. Например, Google Site Verifier действует по запросу пользователя, или некоторые инструменты Google Search Console отправляют Google для получения страницы на основе действий, предпринимаемых пользователем.

IP-адреса. Google также перечислил диапазоны IP-адресов и обратную маску DNS для каждого типа:

Что нового. Вот раздел страницы, который был обновлен; остальная часть страницы практически не изменилась.

Почему мы заботимся. Я полагаю, что Google внесла это изменение после того, как увидела некоторые реакции на робота GoogleOther, о котором они объявили на днях. Теперь это объясняет, как действуют поисковые роботы Google, когда они учитывают robots.txt и как лучше их идентифицировать.

Теперь, если вы не хотите блокировать основной поисковый робот Google, Googlebot, но решите заблокировать остальные, вы сможете более точно идентифицировать эти поисковые роботы.