вопрос
Сегодня заметил что яндекс индексирует страницы типа
как вы поняли это страницу подтверждения регистрации и входа через соц сети. Раньше не загонялся по роботсу, а сейчас решил заняться. Хочу спросить, как закрыть от индексации с помощью robots.txt urlы вида выше. Да и вообще все урлы начинающиеся с знака вопроса к примеру или index.php?xxxxx
В интернете инфы не нашел, поэтому пишу сюда. Надеюсь на вашу помощь.
1) http://site.ru/index.php?ct_checkjs=0bb4aec1710521c12ee76289d9440817&do=register&doaction=validating&id=cmFtemFuNzc3fHxraGFzYW4uYWxpZXYuOTlAbWFpbC5ydXx8ZTc3ODQzY2ZiZDUzODAwMTI4ZDBhNDEwOTJlNTU4MWJ8fDFmZmY5NGVmMTgxZmVmMzJmZDE0MTMyZDExNjgzZDA1OGMxOTVlMjc=&step=2
2) http://site.ru/index.php?do=auth-social&provider=vk&code=4b1f70e424fb77b8
как вы поняли это страницу подтверждения регистрации и входа через соц сети. Раньше не загонялся по роботсу, а сейчас решил заняться. Хочу спросить, как закрыть от индексации с помощью robots.txt urlы вида выше. Да и вообще все урлы начинающиеся с знака вопроса к примеру или index.php?xxxxx
В интернете инфы не нашел, поэтому пишу сюда. Надеюсь на вашу помощь.
