Не нравятся результаты поиска? Попробуйте другой поиск!
dle-faq.ru FAQ (все вопросы) Общие вопросы по вёрстке В индекс Яндекса попадают RSS ленты пользователей. Как от этого правильно избавиться?

В индекс Яндекса попадают RSS ленты пользователей. Как от этого правильно избавиться?


     11.06.2016    Общие вопросы по вёрстке, Ламерские вопросы    348

вопрос
В индекс Яндекса попадают ссылки такого типа:
http://www.musite.ru/user/Username/rss.xml
HTTP-код 200

Как лучше запретить к индексации подобные адреса?

Ответа пока нет


Комментарии пользователей (1)

Апельсин
3

308 | 82

Апельсин - 11 июня 2016 20:48 - Юзер

в robots.txt добавить

Disallow: /user/

Чтобы комментировать - войдите или зарегистрируйтесь на сайте

Похожие вопросы