Как повысить эффективность сканирования и индексирования на уровне предприятия

Корпоративное SEO играет по другим правилам.

Стратегии, которые могут работать для небольших или нишевых веб-сайтов, не всегда будут работать в масштабе.

Итак, что именно может произойти, когда корпоративное SEO слишком большой?

В этой статье я поделюсь тремя реальными примерами. Затем вы узнаете о потенциальном противоядии для более эффективного управления SEO в масштабе.

Перед дилеммой индексации

Небольшие сайты имеют тенденцию расти по одной странице за раз, используя ключевые слова в качестве строительных блоков стратегии SEO.

Крупные сайты часто используют более изощренные подходы, в значительной степени опираясь на системы, правила и автоматизацию.

Очень важно согласовать SEO с бизнес-целями. Измерение успеха SEO на основе рейтинга ключевых слов или трафика приводит к негативным последствиям из-за чрезмерной индексации.

Не существует волшебной формулы для определения оптимального количества проиндексированных URL-адресов. Google не устанавливает верхний предел.

Однако хорошей отправной точкой является рассмотрение общего состояния воронки SEO. Если сайт…

• Толкает десятки или сотни миллионовили даже миллиарды URL-адресов в Google
• ранги только для несколько миллионов ключевые слова
• Получает визиты в несколько тысяч страницы
• Преобразует доля из них (если есть вообще)

…тогда это хороший признак того, что вам нужно решить некоторые серьезные проблемы со здоровьем SEO.

Устранение любых проблем с гигиеной сайта сейчас должно предотвратить еще большие проблемы с SEO в будущем.

Давайте рассмотрим три реальных примера корпоративного SEO, которые иллюстрируют, почему это так важно.

Пример 1. Последствия чрезмерного индексирования некачественного контента

Google имеет ограниченные ресурсы для веб-сканирования и обработки. Они отдают приоритет контенту, который ценен для пользователей.

Google может сканировать, но не индексировать страницы, которые он считает недостаточными, повторяющимися или некачественными.

Если это всего несколько страниц, это не проблема. Но если это широко распространено, Google может игнорировать целые типы страниц или большую часть контента сайта.

В одном случае рынок электронной коммерции обнаружил, что десятки миллионов его страниц со списками были затронуты выборочным сканированием и индексированием.

После сканирования миллионов тонких, почти дублирующихся страниц со списками и отказа от их индексации Google в конечном итоге полностью сократил сканирование веб-сайта, оставив многие из них в подвешенном состоянии «Обнаружено — в настоящее время не проиндексировано».

Эта торговая площадка в значительной степени полагалась на поисковые системы для продвижения новых объявлений пользователям. Новый контент больше не обнаруживался, что создавало серьезную проблему для бизнеса.

Были предприняты некоторые незамедлительные меры, такие как улучшение внутренних ссылок и развертывание динамических карт сайта в формате XML. В конечном итоге эти попытки оказались тщетными.

Реальное решение требовало контроля объема и качества индексируемого контента.

Случай 2: Непредвиденные последствия прекращения сканирования

Когда сканирование останавливается, нежелательный контент остается в индексе Google, даже если он был изменен, перенаправлен или удален.

Многие веб-сайты используют перенаправления вместо ошибок 404 для удаленного контента для поддержания авторитета. Эта тактика может выжимать дополнительный трафик со страниц-призраков на месяцы, если не на годы.

Однако иногда это может пойти ужасно неправильно.

Например, известная глобальная торговая площадка, которая продает товары ручной работы, случайно раскрыла личную информацию продавцов (например, имя, адрес, адрес электронной почты, номер телефона) на локализованных версиях своих страниц с объявлениями. Некоторые из этих страниц были проиндексированы и кэшированы Google, в результате чего в результатах поиска отображалась личная информация (PII), что ставило под угрозу безопасность и конфиденциальность пользователей.

Поскольку Google не сканировал эти страницы повторно, их удаление или обновление не исключит их из индекса. Даже через несколько месяцев после удаления кешированный контент и данные пользователей продолжали существовать в индексе Google.

В такой ситуации торговая площадка должна была исправить ошибки и работать напрямую с Google, чтобы удалить конфиденциальный контент из поиска.

Случай 3: Риски чрезмерной индексации страниц результатов поиска

Неконтролируемое индексирование больших объемов тонких страниц низкого качества может иметь неприятные последствия, но как насчет индексации страниц результатов поиска?

Google не одобряет индексацию результатов внутреннего поиска, и многие опытные SEO-специалисты настоятельно не рекомендуют эту тактику. Тем не менее, многие крупные сайты в значительной степени полагаются на внутренний поиск в качестве основного драйвера SEO, что часто приносит значительную прибыль.

Если показатели вовлеченности пользователей, впечатления от страницы и качество контента достаточно высоки, Google может закрыть на это глаза. На самом деле, есть достаточно доказательств того, что Google может даже предпочесть высококачественную внутреннюю страницу результатов поиска тонкой странице со списком.

Однако и эта стратегия может пойти не так.

Однажды я видел, как местный аукционный сайт за одну ночь потерял значительную часть своего рейтинга поисковых страниц и более трети своего SEO-трафика.

Правило 20/80 применяется в том смысле, что на небольшую часть заглавных терминов приходится большинство посещений SEO-посещений проиндексированных результатов поиска. Однако часто именно длинный хвост составляет львиную долю объема URL-адресов и может похвастаться одними из самых высоких коэффициентов конверсии.

В результате лишь немногие сайты, использующие эту тактику, накладывают жесткие ограничения или правила на индексацию поисковых страниц.

Это порождает две основные проблемы:

• Любой поисковый запрос может сгенерировать действительную страницу, а это означает, что бесконечное количество страниц может быть сгенерировано автоматически.
• Все они индексируются в Google.

В случае с площадкой объявлений, которая монетизировала свои поисковые страницы с помощью сторонних объявлений, эта уязвимость успешно использовалась посредством рекламного арбитража:

• Было сгенерировано огромное количество поисковых URL-адресов для сомнительных, взрослых и совершенно незаконных терминов.
• Хотя эти автоматически сгенерированные страницы не давали фактических результатов инвентаризации, они отображали стороннюю рекламу и были оптимизированы для ранжирования по запрошенным поисковым запросам с помощью шаблона страницы и метаданных.
• На эти страницы были созданы обратные ссылки с некачественных форумов, чтобы их обнаружили и просканировали боты.
• Пользователи, которые попадали на эти страницы из Google, нажимали на сторонние объявления и переходили на некачественные сайты, которые были намечены.

К тому времени, когда схема была обнаружена, общая репутация сайта была подорвана. Он также пострадал от нескольких штрафов и значительно снизился в эффективности SEO.

Использование управляемого индексирования

Как можно было избежать этих проблем?

Один из лучших способов добиться успеха в SEO для крупных корпоративных сайтов — уменьшить масштаб с помощью управляемой индексации.

Для сайта с десятками или сотнями миллионов страниц крайне важно перейти от подхода, ориентированного на ключевые слова, к подходу, основанному на данных, правилах и автоматизации.

Индексация на основе данных

Одним из существенных преимуществ крупных сайтов является наличие в их распоряжении большого количества данных внутреннего поиска.

Вместо того чтобы полагаться на внешние инструменты, они могут использовать эти данные для детального понимания регионального и сезонного поискового спроса и тенденций.

Эти данные, сопоставленные с существующим инвентарем контента, могут предоставить надежное руководство по тому, какой контент индексировать, а также когда и где это делать.

Дедупликация и консолидация

Небольшое количество авторитетных URL-адресов с высоким рейтингом гораздо более ценно, чем большой объем страниц, разбросанных по первой сотне.

Стоит объединить похожие страницы, используя канонические, используя для этого правила и автоматизацию. Некоторые страницы могут быть объединены на основе оценок сходства, другие — сгруппированы вместе, если они в совокупности ранжируются по схожим запросам.

Здесь главное экспериментировать. Настройте логику и пересмотрите пороговые значения с течением времени.

Очистите тонкие и пустые страницы контента

При наличии в больших объемах тонкие и пустые страницы могут нанести значительный ущерб гигиене и производительности сайта.

Если слишком сложно улучшить их с помощью ценного контента или консолидировать, их следует не индексировать или даже запретить.

Уменьшите бесконечные пробелы с помощью robots.txt

Спустя пятнадцать лет после того, как Google впервые написал о «бесконечных пробелах», проблема чрезмерного индексирования фильтров, сортировки и других комбинаций параметров продолжает беспокоить многие сайты электронной коммерции.

В крайних случаях сканеры могут привести к сбою серверов, когда они пытаются пройти по этим ссылкам. К счастью, это можно легко решить с помощью robots.txt.

Рендеринг на стороне клиента

Вариантом может быть использование рендеринга на стороне клиента для определенных компонентов на странице, которые вы не хотите индексировать поисковыми системами. Рассмотрите это внимательно.

Более того, эти компоненты должны быть недоступны для пользователей, вышедших из системы.

Ставки резко возрастают по мере увеличения масштаба

Хотя SEO часто воспринимается как «бесплатный» источник трафика, это несколько вводит в заблуждение. Размещение и обслуживание контента стоит денег.

Затраты на URL-адрес могут быть незначительными, но как только масштаб достигает сотен миллионов или миллиардов страниц, копейки начинают складываться в реальные цифры.

Хотя рентабельность инвестиций в SEO сложно измерить, сэкономленная копейка — это сделанная копейка, а экономия средств за счет управляемого сканирования и индексации должна быть одним из факторов при рассмотрении стратегий индексации для больших сайтов.

Прагматичный подход к поисковой оптимизации — с хорошо управляемым сканированием и индексированием, руководствуясь данными, правилами и автоматизацией — может защитить крупные веб-сайты от дорогостоящих ошибок.