вопрос
Здравствуйте, вебмастер Яндекс кричит о проблеме.
Как мне в Robot.txt запретить роботу что бы он не трогал такие страницы?
Причем самое интересное, что в настройках скрипта у меня выключен RSS
Примеры страниц, в которых отсутствует описание
Примеры страниц, для которых в базе робота пока нет описаний. Если описание уже добавлено, страница исчезнет из этого списка после того, как её обойдет робот. Чтобы ускорить процесс, можно воспользоваться Переобходом.
https://cs-sell.com/news/updates/rss.xml
https://cs-sell.com/rss.xml
https://cs-sell.com/private/rss.xml
https://cs-sell.com/world/rss.xml
https://cs-sell.com/news/rss.xml
Примеры страниц, для которых в базе робота пока нет описаний. Если описание уже добавлено, страница исчезнет из этого списка после того, как её обойдет робот. Чтобы ускорить процесс, можно воспользоваться Переобходом.
https://cs-sell.com/news/updates/rss.xml
https://cs-sell.com/rss.xml
https://cs-sell.com/private/rss.xml
https://cs-sell.com/world/rss.xml
https://cs-sell.com/news/rss.xml
Как мне в Robot.txt запретить роботу что бы он не трогал такие страницы?
Причем самое интересное, что в настройках скрипта у меня выключен RSS