вопрос
Добрый день, подскажите как сделать правильный robots.txt для DLE без правок кода php как предлагает Алаич.
На данный момент стоит такой, но не смотря на это местами полезло ненужное в google,
/statistics.html
/index.php?do=lastnews
/index.php?do=register
В заголовке указывает "посетить сайт автора"
А в описание "Описание недоступно из-за ограничений в файле robots.txt."
Заранее спасибо
# Для всех дружелюбных роботов
User-agent: *
Disallow: /backup/
Disallow: /language/
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /lastnews/
Disallow: /newposts/
Disallow: /pages/
Disallow: /tags/
Disallow: /user/
Disallow: /*do=addnews
Disallow: /*do=alltags
Disallow: /*do=feedback
Disallow: /*do=favorites
Disallow: /*do=lastnews
Disallow: /*do=lostpassword
Disallow: /*do=pm
Disallow: /*do=register
Disallow: /*do=rules
Disallow: /*do=stats
Disallow: /*do=search
Disallow: /*do=static
Disallow: /*do=tags
Disallow: /*do=xfsearch
Disallow: /cron.php
Disallow: /donuts.php
Disallow: /dle-rules-page.html
Disallow: /rules.html
Disallow: /statistics.html
Disallow: /m/
Disallow: /mobile/
Disallow: /*action=mobile
Host: site.com
Sitemap: http://site.com/sitemap.xml
# Для Yandex робота
User-agent: Yandex
Disallow: /backup/
Disallow: /language/
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /lastnews/
Disallow: /newposts/
Disallow: /pages/
Disallow: /tags/
Disallow: /user/
Disallow: /*do=addnews
Disallow: /*do=alltags
Disallow: /*do=feedback
Disallow: /*do=favorites
Disallow: /*do=lastnews
Disallow: /*do=lostpassword
Disallow: /*do=pm
Disallow: /*do=register
Disallow: /*do=rules
Disallow: /*do=stats
Disallow: /*do=search
Disallow: /*do=static
Disallow: /*do=tags
Disallow: /*do=xfsearch
Disallow: /cron.php
Disallow: /dle-rules-page.html
Disallow: /rules.html
Disallow: /statistics.html
Disallow: /m/
Disallow: /mobile/
Disallow: /*action=mobile
Host: site.com
Sitemap: http:/site.com/sitemap.xml
На данный момент стоит такой, но не смотря на это местами полезло ненужное в google,
/statistics.html
/index.php?do=lastnews
/index.php?do=register
В заголовке указывает "посетить сайт автора"
А в описание "Описание недоступно из-за ограничений в файле robots.txt."
Заранее спасибо
Для DLE правильный robots.txt идёт из коробки, так как там закрыты все служебные страницы. robots.txt для гугла не панацея, если хотите что бы ничего и нигде не вылазило, то закрывайте мета тегом, но тогда без правки cms не обойтись.
