Не нравятся результаты поиска? Попробуйте другой поиск!
DLE FAQ » Все вопросы » Ламерские вопросы » Как сделать правильный robots.txt для DLE?

Как сделать правильный robots.txt для DLE?


     14.08.2016    Все вопросы » Ламерские вопросы    3743

вопрос
Добрый день, подскажите как сделать правильный robots.txt для DLE без правок кода php как предлагает Алаич.

# Для всех дружелюбных роботов

User-agent: *

Disallow: /backup/
Disallow: /language/

Disallow: /engine/go.php
Disallow: /engine/download.php

Disallow: /lastnews/
Disallow: /newposts/
Disallow: /pages/
Disallow: /tags/
Disallow: /user/

Disallow: /*do=addnews
Disallow: /*do=alltags
Disallow: /*do=feedback
Disallow: /*do=favorites
Disallow: /*do=lastnews
Disallow: /*do=lostpassword
Disallow: /*do=pm
Disallow: /*do=register
Disallow: /*do=rules
Disallow: /*do=stats
Disallow: /*do=search
Disallow: /*do=static
Disallow: /*do=tags
Disallow: /*do=xfsearch

Disallow: /cron.php
Disallow: /donuts.php

Disallow: /dle-rules-page.html
Disallow: /rules.html
Disallow: /statistics.html

Disallow: /m/
Disallow: /mobile/
Disallow: /*action=mobile

Host: site.com
Sitemap: http://site.com/sitemap.xml

# Для Yandex робота

User-agent: Yandex

Disallow: /backup/
Disallow: /language/

Disallow: /engine/go.php
Disallow: /engine/download.php

Disallow: /lastnews/
Disallow: /newposts/
Disallow: /pages/
Disallow: /tags/
Disallow: /user/

Disallow: /*do=addnews
Disallow: /*do=alltags
Disallow: /*do=feedback
Disallow: /*do=favorites
Disallow: /*do=lastnews
Disallow: /*do=lostpassword
Disallow: /*do=pm
Disallow: /*do=register
Disallow: /*do=rules
Disallow: /*do=stats
Disallow: /*do=search
Disallow: /*do=static
Disallow: /*do=tags
Disallow: /*do=xfsearch

Disallow: /cron.php

Disallow: /dle-rules-page.html
Disallow: /rules.html
Disallow: /statistics.html

Disallow: /m/
Disallow: /mobile/
Disallow: /*action=mobile

Host: site.com
Sitemap: http:/site.com/sitemap.xml


На данный момент стоит такой, но не смотря на это местами полезло ненужное в google,

/statistics.html
/index.php?do=lastnews
/index.php?do=register

В заголовке указывает "посетить сайт автора"
А в описание "Описание недоступно из-за ограничений в файле robots.txt."

Заранее спасибо

Ответил: irrwisch


Для DLE правильный robots.txt идёт из коробки, так как там закрыты все служебные страницы. robots.txt для гугла не панацея, если хотите что бы ничего и нигде не вылазило, то закрывайте мета тегом, но тогда без правки cms не обойтись.

3 комментария

irrwisch
Юзер

irrwisch - 14 августа 2016 17:45 -

***Комментарий удален***

HELP-ROOT
Юзер

HELP-ROOT - 14 августа 2016 18:31 -

Для DLE по идее хватит вообще

User-agent: *

Disallow: /engine/

Sitemap:
Host:

Ну, а так, каждый делает по своему

VvelLogin
Юзер

VvelLogin - 14 августа 2016 18:41 -

Пробовал написать Disallow: /engine/
Но тогда вместо названия показывало "Посетить сайт автора" а вместо description "Описание недоступно из-за ограничений в файле robots.txt."

Чтобы комментировать - войдите или зарегистрируйтесь на сайте

Похожие вопросы

наверх