Как мы можем раз и навсегда решить автоматически сгенерированные ошибки URL?

Сегодняшний вопрос «Задайте SEO» исходит от Бхаумика из Мумбаи, который спрашивает:

«У меня есть вопрос об автоматически сгенерированных URL-адресах. Моя фирма ранее использовала различные инструменты для создания карт сайта. Но недавно мы начали создавать их вручную, выбирая нужные URL и блокируя другие в robots.txt.

Сейчас мы столкнулись с проблемой, связанной с более чем 50 сгенерированными автоматически URL-адресами.

Например, у нас есть страница с URL-адресом «ключевое слово ключевое слово»: и у нас есть другой URL-адрес центра знаний страницы:

Что касается проблем с покрытием, мы видим ошибки в серии 5xx, которые создают совершенно новые URL-адреса, что-то вроде «Мы пробовали много способов, но не получили решения для этого».

Привет Бхаумик,

Интересная ситуация, в которой вы оказались.

Хорошая новость заключается в том, что ошибки 5XX, как правило, устраняются сами по себе, так что не беспокойтесь об этом.

Проблема каннибализации, с которой вы столкнулись, также более распространена, чем думает большинство людей.

Например, в интернет-магазинах один и тот же продукт (или одна и та же коллекция продуктов) может отображаться в нескольких папках.

Итак, какой из них является официальным?

То же самое касается вашей ситуации в сфере финансов B2B (я удалил ваш URL-адрес выше и заменил его на «ключевое слово»).

Вот почему поисковые системы создали канонические ссылки.

Канонические ссылки — это способ сообщить поисковым системам, что страница является дубликатом другой, и какая страница является официальной.

Давайте представим, что вы продаете розовые тапочки в виде зайчиков.

У этих тапочек-кроликов есть своя страничка, они продаются, появляются в обуви, а также в розовом цвете.

• url.com/products/pink-bunny-slippers.
• url.com/on-sale/pink-bunny-slippers.
• url.com/products/pink/pink-bunny-slippers.
• url.com/category/obuv/pink-bunny-slippers.

Первый URL-адрес выше — это «официальная версия» URL-адреса.

Это означает, что он должен иметь каноническую ссылку, указывающую на себя.

Остальные три страницы являются его дубликатами. Итак, когда вы устанавливаете свою каноническую ссылку, она должна указывать на официальную страницу.

Короче говоря, вы должны убедиться, что все четыре страницы имеют rel=»canonical» href=», так как это приведет к их дедупликации для поисковых систем.

Затем вам нужно убедиться, что вы удалили все повторяющиеся версии из карты сайта.

Карта сайта должна отображать наиболее важные и индексируемые страницы вашего сайта.

Вы не хотите включать в свои карты сайта неофициальные версии страниц, страницы, запрещенные robots.txt, и неканонизированные URL-адреса.

Поисковые системы не сканируют весь ваш веб-сайт каждый раз, и если вы отправляете их на неважные страницы, вы тратите впустую свои возможности для правильного сканирования и индексации.

Здесь может возникнуть еще одна ситуация.

Если у вас включен поиск по сайту, он также может создавать повторяющиеся URL-адреса.

Если я введу «розовые кроличьи тапочки» в поле поиска вашего сайта, я, скорее всего, получу URL-адрес с той же ключевой фразой в URL-адресе, а также с параметрами на нем.

Это усугубит вашу проблему, и ваша ИТ-команда должна будет программно установить канонические ссылки на результаты поиска вместе с мета-роботами для noindex, следуйте.

Еще одна вещь, на которую следует обратить внимание: если я нажму на страницу с розовыми кроличьими тапочками из результатов поиска, эти параметры могут сохраниться.

Если они это сделают, выполните те же шаги, упомянутые выше.

Использование правильных канонических ссылок и обеспечение отсутствия в карте сайта неофициальных страниц поможет решить проблему дублирования страниц и поможет гарантировать, что вы не тратите впустую посещение паука, заставляя его сканировать неправильные страницы на вашем сайте.

Надеюсь, это поможет!

Дополнительные ресурсы:

---

Избранное изображение: Лереми/Shutterstock

Примечание редактора: Спросите SEO-специалиста — это еженедельная колонка с советами по SEO, написанная одними из ведущих специалистов отрасли по SEO, которые были отобраны журналом Search Engine Journal. Есть вопрос о SEO? Заполните нашу форму. Возможно, вы увидите свой ответ в следующем посте #AskanSEO!