7 шагов для повышения сканируемости и индексируемости вашего сайта

Ключевые слова и контент могут быть двумя столпами, на которых построено большинство стратегий поисковой оптимизации, но они далеко не единственные, которые имеют значение.

Реже обсуждается, но не менее важно — не только для пользователей, но и для поисковых роботов — возможность обнаружения вашего сайта.

На 1,93 миллиарда веб-сайтов в Интернете приходится около 50 миллиардов веб-страниц. Это слишком много для любой команды людей, поэтому эти боты, также называемые пауками, играют важную роль.

Эти боты определяют содержимое каждой страницы, переходя по ссылкам с веб-сайта на веб-сайт и со страницы на страницу. Эта информация собирается в обширную базу данных или индекс URL-адресов, которые затем проходят через алгоритм поисковой системы для ранжирования.

Этот двухэтапный процесс навигации и понимания вашего сайта называется сканированием и индексированием.

Как SEO-специалист, вы, несомненно, слышали эти термины раньше, но давайте дадим им определение просто для ясности:

• Сканируемость относится к тому, насколько хорошо эти поисковые роботы могут сканировать и индексировать ваши веб-страницы.
• Индексируемость измеряет способность поисковой системы анализировать ваши веб-страницы и добавлять их в свой индекс.

Как вы, вероятно, можете себе представить, это две важные части SEO.

Если ваш сайт плохо просматривается, например, много неработающих ссылок и тупиков, поисковые роботы не смогут получить доступ ко всему вашему контенту, что исключит его из индекса.

С другой стороны, индексируемость жизненно важна, потому что страницы, которые не проиндексированы, не будут отображаться в результатах поиска. Как Google может ранжировать страницу, которую он не включил в свою базу данных?

Процесс сканирования и индексирования немного сложнее, чем мы обсуждали здесь, но это основной обзор.

Если вам нужно более подробное обсуждение того, как они работают, у Дейва Дэвиса есть отличная статья о сканировании и индексировании.

Как улучшить сканирование и индексирование

Теперь, когда мы рассмотрели, насколько важны эти два процесса, давайте рассмотрим некоторые элементы вашего веб-сайта, влияющие на сканирование и индексирование, и обсудим способы оптимизации вашего сайта для них.

1. Улучшите скорость загрузки страницы

С миллиардами веб-страниц для каталогизации веб-паукам не нужно целый день ждать загрузки ваших ссылок. Иногда его называют краулинговым бюджетом.

Если ваш сайт не загружается в течение указанного периода времени, они покинут ваш сайт, а это означает, что вы останетесь не просканированными и не проиндексированными. И, как вы можете себе представить, это не очень хорошо для целей SEO.

Таким образом, рекомендуется регулярно оценивать скорость страницы и улучшать ее везде, где это возможно.

Вы можете использовать Google Search Console или такие инструменты, как Screaming Frog, чтобы проверить скорость вашего сайта.

Если ваш сайт работает медленно, примите меры, чтобы решить эту проблему. Это может включать в себя обновление вашего сервера или платформы хостинга, включение сжатия, минимизацию CSS, JavaScript и HTML, а также устранение или уменьшение количества переадресаций.

Выясните, что замедляет время загрузки, просмотрев отчет Core Web Vitals. Если вам нужна более точная информация о ваших целях, особенно с точки зрения пользователя, Google Lighthouse — это инструмент с открытым исходным кодом, который может оказаться очень полезным.

2. Укрепляйте структуру внутренних ссылок

Хорошая структура сайта и внутренние ссылки являются основополагающими элементами успешной стратегии SEO. Неорганизованный веб-сайт трудно сканировать поисковым системам, что делает внутренние ссылки одной из самых важных вещей, которые может сделать веб-сайт.

Но не верьте нам на слово. Вот что сказал по этому поводу защитник поисковой системы Google Джон Мюллер:

«Внутренние ссылки очень важны для SEO. Я думаю, что это одна из самых важных вещей, которые вы можете сделать на веб-сайте, чтобы как бы направлять Google и направлять посетителей на страницы, которые вы считаете важными».

Если ваши внутренние ссылки плохие, вы также рискуете потерять страницы или те страницы, которые не ссылаются на какую-либо другую часть вашего веб-сайта. Поскольку на эти страницы ничего не направлено, поисковые системы могут найти их только по вашей карте сайта.

Чтобы устранить эту и другие проблемы, вызванные плохой структурой, создайте логическую внутреннюю структуру своего сайта.

Ваша домашняя страница должна ссылаться на подстраницы, поддерживаемые страницами, находящимися ниже по пирамиде. Эти подстраницы должны иметь контекстные ссылки там, где это кажется естественным.

Еще одна вещь, за которой нужно следить, — это неработающие ссылки, в том числе с опечатками в URL-адресе. Это, конечно же, приводит к битой ссылке, что приведет к ужасной ошибке 404. Другими словами, страница не найдена.

Проблема в том, что неработающие ссылки не помогают, а вредят вашей сканируемости.

Дважды проверьте свои URL-адреса, особенно если вы недавно подверглись переносу сайта, массовому удалению или изменению структуры. И убедитесь, что вы не ссылаетесь на старые или удаленные URL-адреса.

Другие лучшие практики для внутренних ссылок включают наличие большого количества контента, на который можно ссылаться (контент всегда важнее), использование анкорного текста вместо связанных изображений и использование «разумного количества» ссылок на странице (что бы это ни значило).

О да, и убедитесь, что вы используете ссылки для внутренних ссылок.

3. Отправьте свой файл Sitemap в Google

При наличии достаточного количества времени и при условии, что вы не запретили это делать, Google просканирует ваш сайт. И это здорово, но это не помогает вашему поисковому рейтингу, пока вы ждете.

Если вы недавно внесли изменения в свой контент и хотите, чтобы Google немедленно узнал об этом, рекомендуется отправить карту сайта в Google Search Console.

Карта сайта — это еще один файл, который находится в вашем корневом каталоге. Он служит дорожной картой для поисковых систем с прямыми ссылками на каждую страницу вашего сайта.

Это полезно для индексируемости, поскольку позволяет Google одновременно узнавать о нескольких страницах. В то время как сканеру, возможно, придется перейти по пяти внутренним ссылкам, чтобы обнаружить глубокую страницу, отправив XML-карту сайта, он может найти все ваши страницы за одно посещение файла карты сайта.

Отправка карты сайта в Google особенно полезна, если у вас глубокий веб-сайт, вы часто добавляете новые страницы или контент или на вашем сайте нет хороших внутренних ссылок.

4. Обновите файлы robots.txt

Вы, вероятно, хотите иметь файл robots.txt для своего веб-сайта. Хотя это и не требуется, 99% веб-сайтов используют его как практическое правило. Если вы не знакомы с этим, это обычный текстовый файл в корневом каталоге вашего сайта.

Он сообщает поисковым роботам, как вы хотите, чтобы они сканировали ваш сайт. Его основное использование — управление трафиком ботов и предотвращение перегрузки вашего сайта запросами.

Где это удобно с точки зрения возможности сканирования, так это ограничение того, какие страницы Google сканирует и индексирует. Например, вам, вероятно, не нужны такие страницы, как каталоги, корзины покупок и теги в каталоге Google.

Конечно, этот полезный текстовый файл также может отрицательно сказаться на вашей сканируемости. Стоит просмотреть файл robots.txt (или поручить это специалисту, если вы не уверены в своих силах), чтобы убедиться, что вы непреднамеренно блокируете доступ поисковых роботов к своим страницам.

Некоторые распространенные ошибки в файлах robots.text включают:

• Robots.txt находится не в корневом каталоге.
• Плохое использование подстановочных знаков.
• Нет индекса в robots.txt.
• Заблокированные скрипты, таблицы стилей и изображения.
• Нет URL-адреса карты сайта.

Для более глубокого изучения каждой из этих проблем и советов по их решению прочитайте эту статью.

5. Проверьте свою канонизацию

Канонические теги объединяют сигналы от нескольких URL-адресов в один канонический URL-адрес. Это может быть полезным способом указать Google проиндексировать нужные вам страницы, пропуская дубликаты и устаревшие версии.

Но это открывает двери для мошеннических канонических тегов. Они относятся к более старым версиям страницы, которой больше не существует, что приводит к тому, что поисковые системы индексируют неправильные страницы и оставляют невидимыми ваши предпочтительные страницы.

Чтобы устранить эту проблему, используйте инструмент проверки URL-адресов, чтобы сканировать мошеннические теги и удалять их.

Если ваш веб-сайт ориентирован на международный трафик, т. е. если вы направляете пользователей из разных стран на разные канонические страницы, вам необходимо иметь канонические теги для каждого языка. Это гарантирует, что ваши страницы индексируются на каждом языке, который использует ваш сайт.

6. Проведите аудит сайта

Теперь, когда вы выполнили все эти другие шаги, вам нужно сделать еще одну последнюю вещь, чтобы убедиться, что ваш сайт оптимизирован для сканирования и индексирования: аудит сайта. И это начинается с проверки процента страниц, проиндексированных Google для вашего сайта.

Проверьте свой показатель индексируемости

Ваш показатель индексируемости — это количество страниц в индексе Google, деленное на количество возрастов на нашем веб-сайте.

Вы можете узнать, сколько страниц находится в индексе Google из Google Search Console Index, перейдя на вкладку «Страницы» и проверив количество страниц на сайте из панели администратора CMS.

Есть большая вероятность, что на вашем сайте есть некоторые страницы, которые вы не хотите индексировать, поэтому это число, вероятно, не будет 100%. Но если уровень индексируемости ниже 90 %, то у вас есть проблемы, которые необходимо исследовать.

Вы можете получить неиндексированные URL-адреса из Search Console и провести для них аудит. Это может помочь вам понять, что вызывает проблему.

Еще один полезный инструмент аудита сайта, включенный в консоль поиска Google, — это инструмент проверки URL. Это позволяет вам увидеть то, что видят поисковые роботы Google, и сравнить это с реальными веб-страницами, чтобы понять, что Google не может отобразить.

Аудит недавно опубликованных страниц

Каждый раз, когда вы публикуете новые страницы на своем веб-сайте или обновляете наиболее важные страницы, вы должны убедиться, что они индексируются. Зайдите в Google Search Console и убедитесь, что все они отображаются.

Если у вас все еще есть проблемы, аудит также может дать вам представление о том, какие другие части вашей стратегии SEO терпят неудачу, так что это двойная победа. Масштабируйте процесс аудита с помощью таких бесплатных инструментов, как:

1. Кричащая лягушка
2. Семруш
3. Стяжка
4. при сканировании
5. Пиломатериалы

7. Проверьте наличие некачественного или дублирующегося контента

Если Google не считает ваш контент ценным для пользователей, он может решить, что он не достоин индексации. Этот тонкий контент, как известно, может быть плохо написанным контентом (например, наполненным грамматическими и орфографическими ошибками), шаблонным контентом, который не уникален для вашего сайта, или контентом, не имеющим внешних сигналов о его ценности и авторитетности.

Чтобы найти это, определите, какие страницы вашего сайта не индексируются, а затем просмотрите целевые запросы для них. Дают ли они качественные ответы на вопросы поисковиков? Если нет, замените или обновите их.

Дублированный контент — еще одна причина, по которой боты могут зависнуть при сканировании вашего сайта. По сути, происходит то, что ваша структура кодирования запутала его, и он не знает, какую версию индексировать. Это может быть вызвано такими вещами, как идентификаторы сеансов, избыточные элементы контента и проблемы с нумерацией страниц.

Иногда это вызывает предупреждение в консоли поиска Google, говорящее о том, что Google обнаруживает больше URL-адресов, чем, по его мнению, должно быть. Если вы его не получили, проверьте результаты сканирования на наличие дубликатов или отсутствующих тегов или URL-адресов с дополнительными символами, которые могут создавать дополнительную работу для ботов.

Исправьте эти проблемы, исправив теги, удалив страницы или настроив доступ Google.

8. Устраните цепочки перенаправлений и внутренние перенаправления

По мере развития веб-сайтов перенаправления становятся естественным побочным продуктом, направляя посетителей с одной страницы на более новую или более релевантную. Но хотя они распространены на большинстве сайтов, если вы неправильно с ними обращаетесь, вы можете непреднамеренно саботировать собственную индексацию.

Есть несколько ошибок, которые вы можете совершить при создании редиректов, но одна из самых распространенных — это цепочки редиректов. Это происходит, когда существует более одного перенаправления между ссылкой, по которой щелкнули, и местом назначения. Google не рассматривает это как положительный сигнал.

В более крайних случаях вы можете инициировать цикл перенаправления, в котором страница перенаправляется на другую страницу, которая ведет на другую страницу и так далее, пока в конечном итоге не появится ссылка на самую первую страницу. Другими словами, вы создали бесконечный цикл, который никуда не ведет.

Проверьте перенаправления вашего сайта с помощью Screaming Frog, Redirect-Checker.org или аналогичного инструмента.

9. Исправьте неработающие ссылки

Точно так же неработающие ссылки могут нанести ущерб сканируемости вашего сайта. Вы должны регулярно проверять свой сайт, чтобы убедиться, что у вас нет неработающих ссылок, так как это не только повредит вашим результатам SEO, но и расстроит пользователей-людей.

Существует несколько способов найти неработающие ссылки на вашем сайте, включая ручную оценку каждой ссылки на вашем сайте (верхний и нижний колонтитулы, навигация, текст и т. д.), или вы можете использовать Google Search Console, Analytics или Screaming Frog для поиска ошибок 404.

После того, как вы нашли неработающие ссылки, у вас есть три варианта их исправления: перенаправление (предостережения см. в разделе выше), их обновление или удаление.

10. Индекс сейчас

IndexNow — это относительно новый протокол, который позволяет одновременно отправлять URL-адреса между поисковыми системами через API. Он работает как усиленная версия отправки XML-карты сайта, предупреждая поисковые системы о новых URL-адресах и изменениях на вашем веб-сайте.

По сути, он заранее предоставляет сканерам дорожную карту вашего сайта. Они заходят на ваш сайт с нужной им информацией, поэтому нет необходимости постоянно перепроверять карту сайта. В отличие от XML-карт сайта, он позволяет информировать поисковые системы о кодовых страницах, отличных от 200.

Реализовать его легко, и вам нужно только сгенерировать ключ API, разместить его в своем каталоге или другом месте и отправить свои URL-адреса в рекомендуемом формате.

Подведение итогов

К настоящему времени вы должны иметь хорошее представление об индексируемости и сканируемости вашего веб-сайта. Вы также должны понимать, насколько важны эти два фактора для вашего поискового рейтинга.

Если пауки Google могут сканировать и индексировать ваш сайт, не имеет значения, сколько ключевых слов, обратных ссылок и тегов вы используете — вы не будете отображаться в результатах поиска.

И именно поэтому важно регулярно проверять свой сайт на предмет всего, что может подстерегать, вводить в заблуждение или сбивать с толку ботов.

Итак, приобретите себе хороший набор инструментов и приступайте к работе. Будьте внимательны и внимательны к деталям, и скоро пауки Google будут кишеть на вашем сайте, как пауки.

Дополнительные ресурсы:

---

Избранное изображение: Роман Самборский/Shutterstock