Не нравятся результаты поиска? Попробуйте другой поиск!
DLE FAQ » Все вопросы » Общие вопросы » Как правильно создать Robots.txt?

Как правильно создать Robots.txt?


     03.06.2017    Все вопросы » Общие вопросы    1629

вопрос
Какой он правильный Robots.txt для dle?
Чтобы в гугл вебмастере не вылазили все ошибки типа: повторяющиеся мета описание, отсутствующие теги title и прочее
..

Вот мой Robots.txt, насколько он правильный?

Ответил: PunPun


User-agent: *
Disallow: /engine/*
Disallow: */page/*/
Disallow: */page/
Disallow: /index.php?do=*
Allow: /engine/classes/js/
Allow: /engine/classes/min/index.php
Allow: /engine/data/emoticons/

Host: site.com
Sitemap: http://site.com/sitemap.xml

Google игнорирует robots.txt лучше использовать meta robots.

2 комментария

Jehmel
Юзер

Jehmel - 3 июня 2017 22:04 -

Подробнее можно про meta robots

king
Юзер

king - 6 января 2018 20:31 -

Jehmel, PUNPUN верно написал, поэтому правильный Robots.txt будет таким, как написано здесь.

Чтобы комментировать - войдите или зарегистрируйтесь на сайте

Похожие вопросы

наверх