Индексация страниц /page/X/ сайта

didfree 04.03.2012 Все вопросы » Общие вопросы 4232

вопрос

Привет. У меня такой вопрос, это нормально что пс индексирует и выкладывает в поиск страницы такого вида:
сайт.ru/page/2/
сайт.ru/page/3/
сайт.ru/page/4/ .. и тд.

Ведь это бессмысленно. У всех так?

Ответил: ПафНутиЙ

Да. У всех, кто не настроил robot.txt
В DLE "из коробки" нет нормально настроенного файла robot.txt
Нужно прописывать туда то, что нужно (или не нужно).

P.S.
А вообще смысл в этом есть. т.к. это тоже контент, другой вопрос в том, что контент этот динамически меняется.

3 комментария

Юзер

didfree - 2015-04-084 марта 2012 23:39 - #4101

Эм, я так и не понял, нужно закрывать индексацию к этим страницам или нет?
Как я понял эта строчка закрывает доступ? Disallow: /*page/

PHP-developer

1783

Sander - 2015-04-085 марта 2012 14:22 - #4116

Если вам не надо, чтобы поисковики проиндексировали новости вашего сайта и были от них переходы, то можно эти страницы закрыть.

SanDev.pro - мой блог.

Telegram: @sandev
Skype: Sander8804

Юзер

FreakMurderer - 2015-04-086 марта 2012 00:35 - #4121

Закрывать по любому и не через роботс, а метатеги [проверено]

non-stop | Как решить проблему индексации DLE в пои ... ¹

non-stop
Как решить проблему индексации DLE в поиске Bing?
19-12-2024, 17:02

Забыл написать что обновился до последней версии 17.3
Интересно узнать, это только у меня проблема, или это проблема движка? проверьте свои сайты на наличие в поиске Bing.
В 11 винде именно эта поисковая система стоит по умолчанию . кроме того эта же поисковая система отвечает за индекс еще одного поисковика - yahoo. Эти системы могут давать дополнительный процент пискового трафика на сайты.
lutskboy | Как максимально грамотно организовать до ... ¹

lutskboy
Как максимально грамотно организовать добавление материалов через SQL-запросы?
18-12-2024, 21:39

все верно. related_ids автоматом заполняется потом.
derebas | Убираем xfsearch из адресной строки ⁷

derebas
Убираем xfsearch из адресной строки
16-12-2024, 02:35

в правилах транслитерации для tagvalue поставьте замену " " => "-", например так
str_replace(array('.', ' ', '/', '&', "'", '+', '«', '»', ':', '!'), array('', '-', '-', 'and', '', '', '', '', '', '')
toxicpioner | Убираем xfsearch из адресной строки ⁷

toxicpioner
Убираем xfsearch из адресной строки
15-12-2024, 19:31

если в доп поле есть пробел, будет выдавать просто 403 стр
dj-avtosh | Воспользовался хаком удаление html из ад ... ²

dj-avtosh
Воспользовался хаком удаление html из адресной строки у новости, появилась ошибка, как пофиксить?
12-12-2024, 17:26

Нужно правило с year поднять выше всех в .htaccess
TeraMoune | Воспользовался хаком удаление html из ад ... ²

TeraMoune
Воспользовался хаком удаление html из адресной строки у новости, появилась ошибка, как пофиксить?
11-12-2024, 22:12

У вас убрано слишком много отличительных признаков в ссылках и теперь ссылки пересекаются. Убрали xfsearch, убрали html, а так же зачем то убрали дефиз разделяющий id и alt_name. Теперь некоторые ссылки будут отвечать выражению под правила ссылок новостей. Исправить вы можете только переосмыслив эти ссылки и добавить в них каких-то отличительных особенностей, переосмыслить чпу.
toxicpioner | Как упорядочить ID новостей ¹⁹

toxicpioner
Как упорядочить ID новостей
9-12-2024, 22:24

***Комментарий удален***
DnCnv | Как показать только одну категорию, к ко ... ¹

DnCnv
Как показать только одну категорию, к которой принадлежит новость?
9-12-2024, 01:46

***Комментарий удален***
web102 | Почему не отображается картинка в галере ... ³

web102
Почему не отображается картинка в галерее?
4-12-2024, 11:49

дайте адрес сайта. можно в личку
Shandi | Почему не отображается картинка в галере ... ³

Shandi
Почему не отображается картинка в галерее?
3-12-2024, 08:53

Мне как ламеру ничего не понятно:( Кто-то это исправляет за денужку?