Не нравятся результаты поиска? Попробуйте другой поиск!
dle-faq.ru FAQ (все вопросы) Общие вопросы Индексация страниц /page/X/ сайта

Индексация страниц /page/X/ сайта


     04.03.2012    Общие вопросы    2423

вопрос
Привет. У меня такой вопрос, это нормально что пс индексирует и выкладывает в поиск страницы такого вида:
сайт.ru/page/2/
сайт.ru/page/3/
сайт.ru/page/4/ .. и тд.

Ведь это бессмысленно. У всех так?

Ответил: ПафНутиЙ


Да. У всех, кто не настроил robot.txt
В DLE "из коробки" нет нормально настроенного файла robot.txt
Нужно прописывать туда то, что нужно (или не нужно).

P.S.
А вообще смысл в этом есть. т.к. это тоже контент, другой вопрос в том, что контент этот динамически меняется.

Комментарии пользователей (3)

didfree
61 | 59

didfree - 4 марта 2012 23:39 - Юзер

Эм, я так и не понял, нужно закрывать индексацию к этим страницам или нет?
Как я понял эта строчка закрывает доступ? Disallow: /*page/

Sander
1125

1636 | 1202

Sander - 5 марта 2012 14:22 - Эксперт

Если вам не надо, чтобы поисковики проиндексировали новости вашего сайта и были от них переходы, то можно эти страницы закрыть.

SanDev.pro - мой блог.

ICQ: 404-037-556
Skype: Sander8804

FreakMurderer
20 | 21

FreakMurderer - 6 марта 2012 00:35 - Юзер

Закрывать по любому и не через роботс, а метатеги [проверено]

Чтобы комментировать - войдите или зарегистрируйтесь на сайте

Похожие вопросы