Дзен запретил сканеру OpenAI собирать данные со своей платформы

Контент-платформа Zen (принадлежит ВК) запретила роботу GPTBot от OpenAI сканировать страницы сайта dzen.ru для сбора данных.

Соответствующая директива отмечена знаком «Ъ» в файле robots.txt. В пресс-службе ВК пояснили, что заблокировали GPTBot, чтобы снизить нагрузку на серверы Zen.

В компании ВК свое решение прокомментировали следующим образом:

Рекомендательная система Дзен — одна из крупнейших в стране. Высоконагруженные сервисы работают непрерывно и обрабатывают более 150 тысяч запросов в секунду. Решение не включать в файл GPTBot от OpenAI было принято для правильного использования технического ресурса, чтобы не создавать дополнительную нагрузку. В Zen регулярно создаются миллионы новых сообщений, как в текстовом, так и в видеоформате, и мы выделяем ресурсы для обеспечения качественного опыта для наших пользователей и авторов.

Обратите внимание, что файл robots.txt носит рекомендательный характер для сканеров и технически ничто не запрещает роботам игнорировать написанные в нем директивы.

GPTBot используется для сбора информации, которая впоследствии используется для создания нейросетевых продуктов OpenAI. Компания не предоставляет к ним доступ в России и заблокировала доступ к сайту для пользователей из РФ.

Напомним, ранее Яндекс предлагал владельцам сайтов специальную директиву для YandexGPT, запрещающую нейросети использовать информацию о ресурсах для генерации быстрых ответов. О том, как на это отреагировало SEO-сообщество, читайте в нашей статье.

Источник: Коммерсантъ