Как закрыть в robots.txt ссылки вида site.ru/index.php?xxxxxx ?

Dimys1 03.03.2016 Все вопросы » Общие вопросы 1938

вопрос

Сегодня заметил что яндекс индексирует страницы типа

1) http://site.ru/index.php?ct_checkjs=0bb4aec1710521c12ee76289d9440817&do=register&doaction=validating&id=cmFtemFuNzc3fHxraGFzYW4uYWxpZXYuOTlAbWFpbC5ydXx8ZTc3ODQzY2ZiZDUzODAwMTI4ZDBhNDEwOTJlNTU4MWJ8fDFmZmY5NGVmMTgxZmVmMzJmZDE0MTMyZDExNjgzZDA1OGMxOTVlMjc=&step=2

2) http://site.ru/index.php?do=auth-social&provider=vk&code=4b1f70e424fb77b8

как вы поняли это страницу подтверждения регистрации и входа через соц сети. Раньше не загонялся по роботсу, а сейчас решил заняться. Хочу спросить, как закрыть от индексации с помощью robots.txt urlы вида выше. Да и вообще все урлы начинающиеся с знака вопроса к примеру или index.php?xxxxx

В интернете инфы не нашел, поэтому пишу сюда. Надеюсь на вашу помощь.

Ответа пока нет

1 комментарий

non-stop | Как решить проблему индексации DLE в пои ... ¹

non-stop
Как решить проблему индексации DLE в поиске Bing?
19-12-2024, 17:02

Забыл написать что обновился до последней версии 17.3
Интересно узнать, это только у меня проблема, или это проблема движка? проверьте свои сайты на наличие в поиске Bing.
В 11 винде именно эта поисковая система стоит по умолчанию . кроме того эта же поисковая система отвечает за индекс еще одного поисковика - yahoo. Эти системы могут давать дополнительный процент пискового трафика на сайты.
lutskboy | Как максимально грамотно организовать до ... ¹

lutskboy
Как максимально грамотно организовать добавление материалов через SQL-запросы?
18-12-2024, 21:39

все верно. related_ids автоматом заполняется потом.
derebas | Убираем xfsearch из адресной строки ⁷

derebas
Убираем xfsearch из адресной строки
16-12-2024, 02:35

в правилах транслитерации для tagvalue поставьте замену " " => "-", например так
str_replace(array('.', ' ', '/', '&', "'", '+', '«', '»', ':', '!'), array('', '-', '-', 'and', '', '', '', '', '', '')
toxicpioner | Убираем xfsearch из адресной строки ⁷

toxicpioner
Убираем xfsearch из адресной строки
15-12-2024, 19:31

если в доп поле есть пробел, будет выдавать просто 403 стр
dj-avtosh | Воспользовался хаком удаление html из ад ... ²

dj-avtosh
Воспользовался хаком удаление html из адресной строки у новости, появилась ошибка, как пофиксить?
12-12-2024, 17:26

Нужно правило с year поднять выше всех в .htaccess
TeraMoune | Воспользовался хаком удаление html из ад ... ²

TeraMoune
Воспользовался хаком удаление html из адресной строки у новости, появилась ошибка, как пофиксить?
11-12-2024, 22:12

У вас убрано слишком много отличительных признаков в ссылках и теперь ссылки пересекаются. Убрали xfsearch, убрали html, а так же зачем то убрали дефиз разделяющий id и alt_name. Теперь некоторые ссылки будут отвечать выражению под правила ссылок новостей. Исправить вы можете только переосмыслив эти ссылки и добавить в них каких-то отличительных особенностей, переосмыслить чпу.
toxicpioner | Как упорядочить ID новостей ¹⁹

toxicpioner
Как упорядочить ID новостей
9-12-2024, 22:24

***Комментарий удален***
DnCnv | Как показать только одну категорию, к ко ... ¹

DnCnv
Как показать только одну категорию, к которой принадлежит новость?
9-12-2024, 01:46

***Комментарий удален***
web102 | Почему не отображается картинка в галере ... ³

web102
Почему не отображается картинка в галерее?
4-12-2024, 11:49

дайте адрес сайта. можно в личку
Shandi | Почему не отображается картинка в галере ... ³

Shandi
Почему не отображается картинка в галерее?
3-12-2024, 08:53

Мне как ламеру ничего не понятно:( Кто-то это исправляет за денужку?