В чем разница и как исправить оба

Консоль поиска Google предупреждает издателей об ошибках 404: 404 и soft 404.

Хотя они оба называются 404, они очень разные.

Следовательно, важно понимать разницу между ошибками, чтобы исправить их.

Коды состояния HTTP

Веб-страница, к которой обращается браузер, отвечает кодом состояния, который сообщает, был ли запрос успешным, а если нет, то почему.

Эти ответы передаются с помощью так называемых кодов ответов HTTP, но официально они называются кодами состояния HTTP.

Сервер предоставляет пять категорий кодов ответов; эта статья конкретно об одном ответе, коде состояния 404 страница не найдена.

Значение кода ответа 404

Все коды в серии ответов 4xx означают, что запрос не может быть выполнен, поскольку страница не найдена.

Официальное определение:

4xx (ошибка клиента): запрос содержит неправильный синтаксис или не может быть выполнен

Ответ 404 неоднозначен относительно того, может ли веб-страница вернуться.

Примеры того, почему страница 404 не найдена

• Если кто-то по ошибке удалит веб-страницу, сервер выдаст ответ 404: страница не найдена.
• Если кто-то ссылается на несуществующую веб-страницу, сервер отвечает, что страница не найдена (404).

Официальная документация четко указывает на двусмысленность того, исчезла ли страница временно или навсегда:

«Код состояния 404 (не найдено) указывает на то, что исходный сервер не нашел текущего представления для целевого ресурса или не желает раскрывать его существование.

Код состояния 404 не указывает, является ли это отсутствие представительства временным или постоянным.…”

Подводя итог, код 404 page not found означает, что в запросе браузера произошла ошибка, поскольку запрошенная страница не может быть найдена.

Что такое программная ошибка 404?

Мягкая ошибка 404 не является официальным кодом состояния. Сервер не отправляет программный ответ 404 в браузер, потому что не существует такого понятия, как программный код состояния 404.

Софт 404 описывает ситуацию, когда сервер представляет веб-страницу и отвечает кодом состояния 200 OK, указывающим на успех, когда веб-страница или контент фактически отсутствуют.

Четыре распространенные причины для мягкого 404

Веб-страница отсутствует, а сервер отправляет статус 200 OK.

Этот тип программной ошибки 404 возникает, когда страница отсутствует, но конфигурация сервера перенаправляет отсутствующую страницу на домашнюю страницу или настраиваемый URL-адрес.

Страница исчезла, но издатель сделал что-то, чтобы выполнить запрос на отсутствующую страницу.

Контент отсутствует или «тонкий».

Когда контент полностью отсутствует или его очень мало (он же тонкий контент), сервер ответит кодом состояния 200, что означает, что запрос страницы прошел успешно.

Но для индексации веб-страниц, которые не являются успешными запросами веб-страницы, поисковые системы называют это программными ошибками 404.

Отсутствующая страница перенаправляет на домашнюю страницу.

Некоторые ошибочно полагают, что с ответом об ошибке 404 что-то не так.

Таким образом, чтобы остановить ответы с ошибкой 404, издатель может перенаправить отсутствующую страницу на домашнюю страницу, даже если домашняя страница не является тем, что было запрошено.

Google называет эти неудачные запросы страниц программными ошибками 404.

Отсутствующая страница перенаправлена ​​на пользовательскую веб-страницу.

Иногда отсутствующие страницы перенаправляются на пользовательскую веб-страницу с кодом состояния 200, в результате чего Google помечает эти страницы как программные 404.

Кто изобрел Phrase Soft 404?

Концепция мягкого 404, возможно, возникла в исследовательской статье 2004 года под названием «На пути к пониманию упадка Интернета» (PDF).

Неправильно замененные отсутствующие страницы представляют проблему для поисковых систем, пытающихся проиндексировать настоящие страницы.

Вот как исследовательская работа формирует мягкие 404:

«Согласно протоколу HTTP, когда на сервер делается запрос на страницу, которая больше недоступна, сервер должен возвращать код ошибки…

… на самом деле многие серверы, в том числе самые авторитетные, не возвращают код 404 — вместо этого серверы возвращают замещающую страницу и код OK (200).

…Наше исследование показывает, что на эти типы замен, называемые «мягкими 404», приходится более 15% неработающих ссылок».

Soft 404 из-за ошибок кодирования

Бывают случаи, когда страница не отсутствует, но определенные проблемы (например, ошибки кодирования) приводят к тому, что Google классифицирует ее как отсутствующую страницу.

Мягкие ошибки 404 необходимы для расследования, поскольку они могут сигнализировать о неработоспособности кода.

Типичные проблемы с кодированием:

• Отсутствует файл или включение, которое должно заполнить веб-страницу содержимым.
• Ошибка базы данных.
• Отсутствует JavaScript.
• Пустые страницы результатов поиска.

Ошибки 404 имеют две основные причины

• Ошибка в ссылке направляет пользователей на несуществующую страницу.
• Ссылка на страницу, которая раньше существовала, но внезапно исчезла.

Ошибка связывания

Если причиной 404 является ошибка ссылки, вы должны исправить ссылки.

Сложная часть этой задачи — найти все неработающие ссылки на сайте. Сканирование больших сложных сайтов с тысячами или миллионами страниц может оказаться более сложной задачей.

В таких случаях на помощь приходят инструменты сканирования.

У вас есть так много вариантов программного обеспечения для сканирования сайтов на выбор: бесплатные Xenu и Greenflare; или платное программное обеспечение, такое как Screaming Frog, DeepCrawl, Botify, Sitebulb и OnCrawl, где некоторые из них имеют бесплатные пробные версии или бесплатные версии с ограниченными функциями.

Страница, которой больше не существует

Если страницы больше не существует, у вас есть два варианта:

• Восстановить страницу, если удаление было случайным.
• 301 перенаправить его на ближайшую связанную страницу, если удаление было преднамеренным.

Во-первых, вы должны найти все ошибки ссылок на сайте. Подобно поиску всех ошибок в ссылках для крупного веб-сайта, вы можете использовать инструменты сканирования.

Однако инструменты сканирования могут не найти страницы-сироты: страницы, на которые нет ссылок из навигационных ссылок или с какой-либо из страниц.

Страницы-сироты могут существовать, если раньше они были частью веб-сайта, а затем, после редизайна веб-сайта, ссылка на эту старую страницу исчезает, но внешние ссылки с других веб-сайтов могут по-прежнему вести на них.

Чтобы еще раз проверить, существуют ли такие страницы на вашем сайте, вы можете использовать различные инструменты.

Как определить страницы ответов 404

Отчеты консоли поиска Google

В отчете о покрытии перечислены URL-адреса ошибок 404 на веб-сайте.

Консоль поиска сообщит о странице 404, когда Google просканирует все страницы, которые сможет найти. Это могут быть ссылки с других сайтов на страницу, которая раньше существовала на вашем сайте.

Гугл Аналитика

По умолчанию вы не найдете отчет об отсутствующих страницах в Google Analytics. Однако отслеживать их можно по-разному.

Во-первых, вы можете создать собственный отчет и сегментировать страницы с упоминанием заголовка страницы. Ошибка 404 — Страница Не Найдена.

Еще один способ найти страницы-сироты в Google Analytics — создать группы контента и назначить все страницы с ошибкой 404 в группу контента.

Сайт: Команда поиска оператора

Нельзя использовать команду site: search для поиска ошибок 404, потому что Google не индексирует веб-страницы 404 или программные веб-страницы 404.

Сайт Google: оператор поиска полезен для поиска веб-страниц на сайте, которые содержат определенную ключевую фразу в содержании веб-страниц.

Консоль поиска Google — лучший источник для определения списка программных и обычных ошибок 404.

Журналы ошибок трафика веб-сайта являются полезным источником для определения ответов об ошибках 404.

Другие инструменты исследования обратных ссылок

Инструменты исследования обратных ссылок, такие как Majestic, Ahrefs, Moz Open Site Explorer, Sistrix, Semrush, LinkResearchTools и CognitiveSEO, также могут помочь.

Большинство этих инструментов экспортируют список обратных ссылок, ведущих на ваш домен. Оттуда вы можете проверить все связанные страницы и найти ошибки 404.

Как исправить программные ошибки 404

Инструменты сканирования не обнаружат программную ошибку 404, потому что это не ошибка 404. Но вы можете использовать инструменты сканирования, чтобы поймать что-то еще.

Вот несколько вещей, которые нужно найти:

• Тонкое содержание: Некоторые инструменты сканирования сообщают о страницах с недостаточным содержанием, а также с сортируемым количеством слов. Начните со страниц с наименьшим количеством слов, чтобы оценить, имеет ли страница мало содержания.
• Дублированный контент: Некоторые инструменты сканирования достаточно сложны, чтобы определить, какой процент страницы занимает контент шаблона. Также существуют инструменты, созданные специально для поиска внутреннего дублированного контента, такие как SiteLiner. Если основной контент почти такой же, как и на многих других страницах, вам следует изучить эти страницы и определить, почему на вашем сайте существует дублированный контент.

Помимо инструментов сканирования, вы также можете использовать консоль поиска Google и проверять ошибки сканирования, чтобы найти страницы, перечисленные под программными ошибками 404.

Сканирование всего сайта для поиска проблем, вызывающих программные ошибки 404, позволяет обнаруживать и устранять проблемы до того, как их обнаружит Google.

После обнаружения этих программных проблем 404 вам нужно будет их исправить.

В большинстве случаев решения кажутся здравыми. Это может включать в себя простые вещи, такие как расширение страниц с небольшим содержанием или замена дублированного контента новым и уникальным.

На протяжении всего этого процесса следует учитывать несколько моментов:

Объединить страницы

Иногда недостаточный контент возникает из-за того, что тема страницы слишком специфична, и вам нечего сказать.

Объединение нескольких тонких страниц в одну может быть более уместным, если темы связаны между собой. Это не только решает проблемы с тонким контентом, но также может исправить проблемы с дублирующимся контентом.

Например, сайт электронной коммерции, продающий обувь разных цветов и размеров, может иметь разные URL-адреса для каждого размера и сочетания цветов. Это оставляет большое количество страниц с тонким и относительно идентичным содержимым.

Более эффективный подход — разместить все это на одной странице и перечислить доступные варианты.

Найдите технические проблемы, которые вызывают дублирование контента

Используя даже самый простой инструмент веб-сканирования, такой как Xenu (который не просматривает контент, а только URL-адреса, коды ответов и теги заголовков), вы все равно можете найти проблемы с дублирующимся контентом, просматривая URL-адреса.

Сюда входят URL-адреса с www и без www, HTTP и HTTPS, с index.html и без него, с параметрами отслеживания и без них и т. д.

Ошибки 404 и программные ошибки 404

Самое главное, что нужно помнить об ошибках 404, это то, что если страницы действительно отсутствуют, то и исправлять нечего. Можно показывать ответ 404 на запросы к несуществующим страницам.

Но если страницы существуют, но с другим URL-адресом, то это можно исправить, перенаправив неработающую ссылку на фактический URL-адрес, восстановив отсутствующую страницу или перенаправив старый URL-адрес на новую страницу, которая заменила его.

Мягкая ошибка 404 всегда является результатом проблемы, которую необходимо диагностировать и устранить.

Понимание разницы между ошибками 404 необходимо для поддержания максимальной производительности веб-сайта.

---

Рекомендуемое изображение: Пауло Бобита / Search Engine Journal