Не нравятся результаты поиска? Попробуйте другой поиск!

DLE FAQ » Все вопросы » Общие вопросы » Яндекс робот получил полный запрет на индексирование моего сайта в файле robots.txt

Яндекс робот получил полный запрет на индексирование моего сайта в файле robots.txt

blackmore 02.04.2014 robots.txt, яндекс, яндекс вебмастер Все вопросы » Общие вопросы 5113

вопрос

Здравствуйте вебмастера. Трафик моего сайта в основном держится на поисковых запросах Яндекса, но в одни ( прекрасным его не назовешь ) день я зашел в панель вебмастера и увидел такую картину. Информация "Страниц в поиске" было на значении "1"!

Рядом была ошибка:

31.03.2014 наш робот получил полный запрет на индексирование сайта в Вашем файле robots.txt, поэтому сайт в поиске не участвует.
Пожалуйста, воспользуйтесь формой проверки. Если сейчас запрет отсутствует, то сайт начнет индексироваться в течение 2 недель, после чего сообщение обновится. Если запрет все еще присутствует, то по вопросу устранения этой проблемы Вам нужно обратиться к администратору Вашего сайта или хостеру.

Содержание моего Robots.txt:

User-agent: *
Disallow: /

Пожалуйста помогите, раньше все работало нормально. Заранее спасибо!

Ответа пока нет

4 комментария

Местный

425

Serik - 2014-05-042 апреля 2014 17:02 - #26059

У Вас полный запрет на индексацию
Меняйте роботс и если сайт норм, не ГС то через пару недель вернется.

Видно кто то у Вас пошаманил на сервере... Если такой роботс.

СПАСИБО надо тыкать в кнопку!

Юзер

wzk - 2014-05-042 апреля 2014 19:45 - #26080

Disallow: /

Ах ты хитрый роботс :)
удалите строку и все наладится.

Юзер

blackmore - 2014-05-042 апреля 2014 20:34 - #26083

Serik,
wzk,

Заметил такой каламбур, делал бэкап сайта давно. Там посмотрел robots.txt и увидел следующий код:

User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search

Еще вопрос. Кто и как мог изменить файл? Доступ был только у меня! Или система оборзела, сама делает что хочет?

Местный

425

Serik - 2014-05-042 апреля 2014 20:38 - #26084

Ну знать не только у Вас был доступ...
Страшнее не это: если залезли, наверняка напихали хрени в код и на сервер, а посему одна страница в Яшке очень смахивает на АГС из-за этого...

СПАСИБО надо тыкать в кнопку!

derebas | Нужо доработать плагин связанных новосте ... ¹

derebas
Нужо доработать плагин связанных новостей
23-12-2024, 22:42

1. --
2. Не будет работать с добавлением новостей, т.к. ID еще не существует, только переработка принципа самого доп. поля. Что касается существующего состояния, просто добавьте один query запрос при нажатии на + который и будет добавлять параметр в sql
3. стрипслэш
4. Скачал, попробывал, не заметил такой проблемы, возможно нужно в ajax уточнить параметр
5. Просмотрев модуль, изначально алерт идет об однократных связях, как туда может попасть "лишняя" новость не совсем понятно.

В любом случае обратитесь к teraMoune как к специалисту
non-stop | Как решить проблему индексации DLE в пои ... ⁴

non-stop
Как решить проблему индексации DLE в поиске Bing?
23-12-2024, 08:43

Проверил также количество страниц в поиске BING
site:adressayta.com

в поиске всего 3 страницы
Sitemap как ни пытался скормить - не выходит. выдает ошибку
Неприемлемая карта сайта
Невозможно получить URL-адреса с карты сайта

Мне кажется что причина в файле .httaccess
тк при попытке скармливания постранично - выдает ошибку перенаправления
URL перенаправления цели:https://........ ./index.php?do=static&page=406.&seourl=406.
Sud3n | Как решить проблему индексации DLE в пои ... ⁴

Sud3n
Как решить проблему индексации DLE в поиске Bing?
22-12-2024, 20:44

Ошибка, если посмотреть есть ли страничка в индексе
Но версия DLE у меня старая, сомневаюсь, что дело в версии
Sud3n | Как решить проблему индексации DLE в пои ... ⁴

Sud3n
Как решить проблему индексации DLE в поиске Bing?
22-12-2024, 20:42

У меня почему-то Bing вообще не индексирует сайт после добавления в Вебмастер
non-stop | Как решить проблему индексации DLE в пои ... ⁴

non-stop
Как решить проблему индексации DLE в поиске Bing?
19-12-2024, 17:02

Забыл написать что обновился до последней версии 17.3
Интересно узнать, это только у меня проблема, или это проблема движка? проверьте свои сайты на наличие в поиске Bing.
В 11 винде именно эта поисковая система стоит по умолчанию . кроме того эта же поисковая система отвечает за индекс еще одного поисковика - yahoo. Эти системы могут давать дополнительный процент пискового трафика на сайты.
lutskboy | Как максимально грамотно организовать до ... ¹

lutskboy
Как максимально грамотно организовать добавление материалов через SQL-запросы?
18-12-2024, 21:39

все верно. related_ids автоматом заполняется потом.
derebas | Убираем xfsearch из адресной строки ⁷

derebas
Убираем xfsearch из адресной строки
16-12-2024, 02:35

в правилах транслитерации для tagvalue поставьте замену " " => "-", например так
str_replace(array('.', ' ', '/', '&', "'", '+', '«', '»', ':', '!'), array('', '-', '-', 'and', '', '', '', '', '', '')
toxicpioner | Убираем xfsearch из адресной строки ⁷

toxicpioner
Убираем xfsearch из адресной строки
15-12-2024, 19:31

если в доп поле есть пробел, будет выдавать просто 403 стр
dj-avtosh | Воспользовался хаком удаление html из ад ... ²

dj-avtosh
Воспользовался хаком удаление html из адресной строки у новости, появилась ошибка, как пофиксить?
12-12-2024, 17:26

Нужно правило с year поднять выше всех в .htaccess
TeraMoune | Воспользовался хаком удаление html из ад ... ²

TeraMoune
Воспользовался хаком удаление html из адресной строки у новости, появилась ошибка, как пофиксить?
11-12-2024, 22:12

У вас убрано слишком много отличительных признаков в ссылках и теперь ссылки пересекаются. Убрали xfsearch, убрали html, а так же зачем то убрали дефиз разделяющий id и alt_name. Теперь некоторые ссылки будут отвечать выражению под правила ссылок новостей. Исправить вы можете только переосмыслив эти ссылки и добавить в них каких-то отличительных особенностей, переосмыслить чпу.