Оптимизация 2022: как решить проблемы с индексацией на любых сайтах

10-11 ноября 2022 года в Москве прошла конференция Оптимизация-2022. В рамках раздела, посвященного техническим факторам ранжирования, Захар Федоренко (Rush Agency) рассказали, как решить проблемы с индексацией Google на любых сайтах: от 1 до десятков миллионов страниц.

Основные проблемы, связанные с индексацией:

1. Страницы не включаются в индекс, либо этот процесс занимает очень много времени. А если страницы нет в индексе, то органического трафика она не приносит.

2. Большой сайт, но низкий краулинговый бюджет. Ограничение может не позволить роботу проиндексировать нужные страницы.

3. Роботу требуется много времени, чтобы узнать об изменениях на странице, которая когда-то была проиндексирована. По словам Захара, этот процесс можно ускорить, чтобы роботы узнавали об изменениях в течение четырех дней и лучше ранжировали сайт.

Какие ниши пострадали больше всего:

1. Онлайн шоппинг,
2. информационные сайты,
3. сервисные сайты,
4. посадки. Google скептически относится к сайтам с небольшим количеством страниц, поэтому плохо их индексирует.

3 причины, по которым Google не индексирует ваш сайт

Первая причина. Плохая оптимизация сайта.

• ненастроенный robots.txt,
• ненастроенный файл Sitemap,
• дубликаты страниц,
• не все страницы, которые потенциально могут принести SEO-трафик, возвращают код ответа 200,
• битые ссылки,
• нет внутренней ссылки
• медленная скорость загрузки сайта.

Что касается скорости загрузки сайта, то здесь важно правильно установить техническое задание на программиста (ТЗ).

Как выглядит неправильное ТЗ для улучшения скорости загрузки сайта: сделайте скриншоты с PageSpeed ​​и напишите программисту, что нужно стремиться к 90.

Как выглядит правильное ТЗ:

• Подключите PageSpeed ​​API к программе сканирования Screaming Frog.
• Возьмите несколько основных конкурентов и свой сайт, выделите среди них важные типы страниц (их всего три: главная, страница категории и карточки товара, достаточно 10 страниц).
• Запустите эти страницы на PageSpeed ​​и введите данные в таблицу Excel, отобразите среднее значение. Это цель, к которой нужно стремиться.

Вторая причина. Алгоритмы поисковых систем

Алгоритмы поисковых систем не всегда работают должным образом. Бывает, что сайт действительно хороший, полезный, но алгоритм почему-то счел его бесполезным.

Третья причина. Плохое качество страницы

Захар рекомендует проводить аудит содержимого страниц. Для этого нужно открыть ТОП поисковой выдачи в Гугле или Яндексе и подробно просмотреть каждую страницу, абсолютно все блоки, которые есть у вас и ваших конкурентов. Затем определите, какие блоки действительно могут оказать очень сильное влияние на ранжирование. Например, какой-нибудь онлайн-калькулятор.

Что дает индексация сайта?

Как диагностировать ваш сайт

Как понять, есть ли у вас проблемы и насколько они серьезны. Это можно сделать разными инструментами, Захар привел в пример несколько из них.

1. Бесплатный инструмент Google Search Console. В настройках в разделе Индекс — Страницы можно увидеть просканированные, но еще не проиндексированные страницы.

Google Search Console обновляется каждые 4 дня. Если не хотите ждать, то можете воспользоваться сторонними инструментами. Одним из них является Rush Analytics.

2. Спешная аналитика — инструмент проверки индексации. Позволяет легко проверять, вбивать нужные страницы, просматривать динамику, графики, загружать их в формате Excel и т.д.

3. Помимо них, вы также можете использовать другие инструментычаще всего: Screaming Frog с дополнительным API-подключением, A-Parser, Site Analyzer (это аналог Screaming Frog) или Key Collector.

Когда вы определили, что у сайта есть проблема с индексацией, и она довольно серьезная, Захар предлагает способ ее решения.

Как решить проблему с индексацией

Проверьте, правильно ли Google отображает сайт

Бывает, что Google неправильно видит ваш сайт. Это может быть связано с использованием JavaScript, или проблемами в robots.txt и т. д. В Google Search Console можно ввести URL интересующей страницы и посмотреть, как ее видит Google.

Работа над контентом на неиндексируемых страницах

Если страницы нет в индексе, то первое, на что стоит обратить внимание, это контент. Проведите аудит контента, может он действительно хуже конкурентов.

Проработать структуру сайта и его внутреннюю перелинковку

Важно настроить внутреннюю перелинковку, ведь чем она качественнее, тем больше шансов, что страница попадет в индекс. Карта сайта может быть XML, HTML или TXT.

Проверьте правильность файла robots.txt.

Помимо проверки, проиндексирована ли страница и закрыты ли какие-либо категории, вам необходимо посмотреть, не запрещены ли какие-либо изображения, скрипты и т. д.

Проверить наличие и корректность sitemap.xml и его доступность в GSC

Карта сайта должна быть добавлена ​​в Google Search Console. Бывает, что при добавлении сайта GSC показывает, что у него нет url. Причины и решения: 1) низкая скорость загрузки страниц. В этом случае необходимо сделать Sitemap статическим, обновлять его не при каждом запросе, а время от времени, в зависимости от того, насколько большой сайт, как часто в него вносятся изменения. 2) Также рекомендуется добавить ссылку на карту сайта в robots.txt.

Отправлять URL нужных страниц через Google Indexing API

С помощью этого инструмента, по словам спикера, ему удалось проиндексировать более 2,5 млн страниц за 10 дней.

Коды индексации — это Google Indexing API.

Ответы на эти вопросы, а также подробное руководство и скрипты для автоматизации Захар разместил в инструкции. Его можно скачать с помощью приведенного ниже кода.

Читайте также:

Оптимизация 2022: SEO-тенденции

Оптимизация 2022: как продвигать сайты в Юго-Восточной Азии

Оптимизация 2022: SEO на основе данных для роста продаж электронной коммерции