вопрос
Какой он правильный Robots.txt для dle?
Чтобы в гугл вебмастере не вылазили все ошибки типа: повторяющиеся мета описание, отсутствующие теги title и прочее
..
Вот мой Robots.txt, насколько он правильный?
Чтобы в гугл вебмастере не вылазили все ошибки типа: повторяющиеся мета описание, отсутствующие теги title и прочее
..
Вот мой Robots.txt, насколько он правильный?
User-agent: *
Disallow: /engine/*
Disallow: */page/*/
Disallow: */page/
Disallow: /index.php?do=*
Allow: /engine/classes/js/
Allow: /engine/classes/min/index.php
Allow: /engine/data/emoticons/
Host: site.com
Sitemap: http://site.com/sitemap.xmlGoogle игнорирует robots.txt лучше использовать meta robots.
