Не нравятся результаты поиска? Попробуйте другой поиск!
DLE FAQ » Все вопросы » Общие вопросы по вёрстке » В индекс Яндекса попадают RSS ленты пользователей. Как от этого правильно избавиться?

В индекс Яндекса попадают RSS ленты пользователей. Как от этого правильно избавиться?


     11.06.2016    Общие вопросы по вёрстке, Ламерские вопросы    1369

вопрос
В индекс Яндекса попадают ссылки такого типа:
http://www.musite.ru/user/Username/rss.xml
HTTP-код 200

Как лучше запретить к индексации подобные адреса?

Ответа пока нет


1 комментарий

Апельсин
Юзер

Апельсин - 11 июня 2016 20:48 -

в robots.txt добавить

Disallow: /user/

Чтобы комментировать - войдите или зарегистрируйтесь на сайте

Похожие вопросы

наверх