Есть ли жизнь после отключения Яндекс XML? Рассказываем, как могут работать SEO-специалисты с 1 октября 2023 года.

После 1 октября 2023 года жизнь оптимизаторов уже не будет прежней. В этот день вступают в силу обновления Яндекса. Основной из них – отключение сервиса Яндекс XML.

Это основа для всех SEO-специалистов. Его использовали для мониторинга позиций сайтов в результатах поиска, получения данных о рейтинге ключевых слов, оценки эффективности SEO-стратегий и их корректировки.

Теперь Яндекс предлагает новый сервис — API Поиска Яндекса. Он значительно дороже своего предшественника. Некоторые эксперты уже прогнозируют рост цен на услуги по сбору данных в несколько раз.

Мы не поддерживаем подобные панические настроения. Мы разобрались в вопросе и поняли, что есть варианты работать и не завышать цену. Как жить после 1 октября я расскажу в статье.

Что произошло: почему мы любили (а иногда и обвиняли) Яндекс XML?

Яндекс XML позволил парсить результаты поиска в несколько потоков. Он предоставил веб-мастерам доступ к трем типам поиска: русскому, турецкому и мировому. Сервис полюбился за высокую скорость и низкие цены.

Но, конечно, это не сработало идеально. Были случаи, когда XML-информация Яндекса не соответствовала прямому выводу. Сервис не показывал колдунов, рекламу над и под результатами поиска, нулевые позиции и другие элементы. Поэтому оценить ТОП и потенциальный трафик было сложно, так как первая позиция в реальности могла находиться на втором или даже третьем экране и практически не получать переходов.

При прямом разборе такой проблемы нет. Данные отображаются именно так, как пользователь видит их в своем браузере: со всей рекламой, фокусами, расширенными сниппетами.

Но этот метод дорогой и хорошо работает для небольших объемов семантики. Ведь парсеры требуют огромных вычислительных ресурсов и специалистов, которые будут постоянно следить за их работой.

Через Яндекс XML мы получили 1000 результатов поиска по одному запросу, а при живом парсинге — максимум 10. То есть, чтобы получить 1000, нужно будет сделать 100 запросов.

Благодаря своей скорости и дешевизне Яндекс XML используется во многих популярных программах. Здесь только несколько:

• Key Collector — утилита для занятия позиций, сбора семантики и других ключевых целей. Стоимость от 1400₽.
• KeyAssort – программное обеспечение для работы с семантическим ядром, группировки и кластеризации результатов. Стоимость начинается от 1990 ₽, но есть демо-доступ.
• Zennoposter — профессиональный инструмент автоматизации и парсинга. Позволяет легко определять жизненно важные запросы. Стоимость 3470₽.
• Serphunt.ru — сервис, позволяющий бесплатно проверить позиции вашего сайта на соответствие переданным на него лимитам. Стоимость от 500₽.
• Другие сервисы, например, Топвизор, Инструменты PixelPlus, JustMagic.

Как все эти инструменты будут работать сейчас, пока еще вопрос. Скорее всего, доступ станет дороже, поскольку альтернатива, предлагаемая Яндексом, будет дороже XML.

Что будет: какую замену Яндекс XML подготовили разработчики?

Вместо XML Яндекса разработчики предлагают работать с API Поиска Яндекса. Описание нового сервиса звучит заманчиво:

• нет необходимости регистрировать свои сайты в Вебмастере;
• в PAYG можно устанавливать любые лимиты запросов, ограничений на объем трафика с сайтов от Вебмастера нет;
• подключен облачный биллинг и мониторинг;
• гибкая настройка IP из консоли управления;
• различные уровни технической поддержки.

Но есть одно большое «НО». Это удовольствие очень дорогое. Лимиты, в частности, будут доступны, но в рамках Яндекс Облака и почти в 100 раз дороже, чем раньше.

Вот цена от разработчиков.

Каждому желающему в ночное время в часовом поясе UTC+3 доступно 1000 бесплатных запросов в месяц. За каждую 1000 сверху придется платить.

Еще одна проблема — ограничение в 30 000 запросов в месяц для новых пользователей, а в день можно сделать не более 1000 запросов. Это очень мало для агентств и фрилансеров, у которых есть несколько клиентов или один крупный проект.

Например, у SEO-специалистов KINETICA есть несколько десятков проектов для продвижения. Каждый день мы удаляем от 10 000 до 100 000 ключей. Сейчас это будет стоить ~50 000 рублей. Раньше аналогичный объем стоил ~500 руб. Как говорится, почувствуйте разницу!

Как успокоить сердце: как будем работать после первого октября

Во-первых, Яндекс обещает оптовые скидки для крупных покупателей, таких как XMLRiver. Разумеется, сервисы сделают свою наценку. И парсинг станет немного дороже. Но не кратные.

Во-вторых, у них есть свои разработки и сервисы, а из открытого доступа есть такие инструменты, как A-Parser, для массового и прямого парсинга результатов поиска, без использования сервисов Яндекса.

Кроме того, советую присмотреться к новым инструментам в Метрике и Вебмастере — отчетам и мониторингу запросов. Они предоставляют подробную информацию о рейтинге сайтов в результатах поиска и помогают определить, какие действия можно предпринять для повышения производительности.

Расскажу подробнее о новых инструментах.

Отчет «Средние рыночные показатели». Это новый инструмент, доступный пока только в бета-версии. Это поможет вам оценить, как ваш сайт сравнивается с рынком, и принять наиболее эффективные решения относительно SEO и маркетинга в целом.

В Отчет «Возвратность» вы можете увидеть, сколько пользователей повторно заходят на сайт. Отчет «Вовлеченность» показывает среднюю продолжительность пребывания на сайте, глубину просмотров и отказов. Отчет «Динамика трафика» показывает темпы роста трафика по сравнению с рынком.

Инструмент в целом полезный, но есть пара нюансов. Сайты подбираются по поведению пользователей, региону, тематике и размеру, все данные усреднены. Поэтому вы не можете добавлять конкурентов или исключать какие-то конкретные сайты. Также нет возможности установить конкретный период. Информация обновляется раз в месяц.

В статистику отчета включаются только те сайты, на которых включена опция «Получить доступ к рыночным отчетам». Это означает, что данные неполные.

Но есть шанс, что инструмент будет усовершенствован. По крайней мере, теперь вы можете отправить список конкурентов через форму обратной связи. Это позволит алгоритму более точно идентифицировать похожие сайты.

Мониторинг запросов в Вебмастере. Этот инструмент помогает решить сразу несколько задач:

• следить за динамикой сайта в поиске;
• проанализировать причины изменения трафика;
• создавать группы запросов для долгосрочного семантического анализа;
• узнать, по каким поисковым запросам из сотен тысяч сайт уже отображается в результатах поиска. Срок хранения данных – 14 дней.

Мониторинг имеет стандартные показатели: клики, CTR, показы, позиции, а также новый параметр — спрос. Эта метрика показывает, как часто пользователи Яндекса задают вопрос и находят ответ на первой странице результатов поиска.

Как и отчеты, мониторинг пока находится на стадии тестирования.

Давайте подведем итоги

Новость об закрытии Яндекс XML стала шагом к изменению формата работы и оплаты, что может вызвать рост цен на поисковое продвижение, ведь команды и фрилансеры переложат затраты на клиента.

Повторю несколько важных рекомендаций:

• используйте текущие инструменты для мониторинга позиций, чтобы сохранить всю историю, и ищите альтернативы парсингу конкурентов и парсингу конкурентов;
• посмотрите новые инструменты Яндекса в Метрике и Вебмастере — они хоть и находятся еще на стадии тестирования, но там много полезной информации для разработки SEO-стратегии;
• Обсудите изменения с клиентами и предложите альтернативные решения по мониторингу позиций и продвижению сайта, если это актуально для вас.