Технический сбой

Сайт временно работает в режиме только для чтения, идут восстановительные работы. Приносим свои извинения за неудобства.
DLE FAQ » Все вопросы » Общие вопросы » Как правильно создать Robots.txt?

Как правильно создать Robots.txt?


     Все вопросы » Общие вопросы    1706

вопрос
Какой он правильный Robots.txt для dle?
Чтобы в гугл вебмастере не вылазили все ошибки типа: повторяющиеся мета описание, отсутствующие теги title и прочее
..

Вот мой Robots.txt, насколько он правильный?

Ответил: PunPun


User-agent: *
Disallow: /engine/*
Disallow: */page/*/
Disallow: */page/
Disallow: /index.php?do=*
Allow: /engine/classes/js/
Allow: /engine/classes/min/index.php
Allow: /engine/data/emoticons/

Host: site.com
Sitemap: http://site.com/sitemap.xml

Google игнорирует robots.txt лучше использовать meta robots.

2 комментария

Jehmel
Юзер

Jehmel - -

Подробнее можно про meta robots

king
Юзер

king - -

Jehmel, PUNPUN верно написал, поэтому правильный Robots.txt будет таким, как написано здесь.

Похожие вопросы

наверх