Не нравятся результаты поиска? Попробуйте другой поиск!
dle-faq.ru FAQ (все вопросы) Ламерские вопросы Как сделать правильный robots.txt для DLE?

Как сделать правильный robots.txt для DLE?


     14.08.2016    Ламерские вопросы    567

вопрос
Добрый день, подскажите как сделать правильный robots.txt для DLE без правок кода php как предлагает Алаич.

# Для всех дружелюбных роботов

User-agent: *

Disallow: /backup/
Disallow: /language/

Disallow: /engine/go.php
Disallow: /engine/download.php

Disallow: /lastnews/
Disallow: /newposts/
Disallow: /pages/
Disallow: /tags/
Disallow: /user/

Disallow: /*do=addnews
Disallow: /*do=alltags
Disallow: /*do=feedback
Disallow: /*do=favorites
Disallow: /*do=lastnews
Disallow: /*do=lostpassword
Disallow: /*do=pm
Disallow: /*do=register
Disallow: /*do=rules
Disallow: /*do=stats
Disallow: /*do=search
Disallow: /*do=static
Disallow: /*do=tags
Disallow: /*do=xfsearch

Disallow: /cron.php
Disallow: /donuts.php

Disallow: /dle-rules-page.html
Disallow: /rules.html
Disallow: /statistics.html

Disallow: /m/
Disallow: /mobile/
Disallow: /*action=mobile

Host: site.com
Sitemap: http://site.com/sitemap.xml

# Для Yandex робота

User-agent: Yandex

Disallow: /backup/
Disallow: /language/

Disallow: /engine/go.php
Disallow: /engine/download.php

Disallow: /lastnews/
Disallow: /newposts/
Disallow: /pages/
Disallow: /tags/
Disallow: /user/

Disallow: /*do=addnews
Disallow: /*do=alltags
Disallow: /*do=feedback
Disallow: /*do=favorites
Disallow: /*do=lastnews
Disallow: /*do=lostpassword
Disallow: /*do=pm
Disallow: /*do=register
Disallow: /*do=rules
Disallow: /*do=stats
Disallow: /*do=search
Disallow: /*do=static
Disallow: /*do=tags
Disallow: /*do=xfsearch

Disallow: /cron.php

Disallow: /dle-rules-page.html
Disallow: /rules.html
Disallow: /statistics.html

Disallow: /m/
Disallow: /mobile/
Disallow: /*action=mobile

Host: site.com
Sitemap: http:/site.com/sitemap.xml


На данный момент стоит такой, но не смотря на это местами полезло ненужное в google,

/statistics.html
/index.php?do=lastnews
/index.php?do=register

В заголовке указывает "посетить сайт автора"
А в описание "Описание недоступно из-за ограничений в файле robots.txt."

Заранее спасибо

Ответил: irrwisch


Для DLE правильный robots.txt идёт из коробки, так как там закрыты все служебные страницы. robots.txt для гугла не панацея, если хотите что бы ничего и нигде не вылазило, то закрывайте мета тегом, но тогда без правки cms не обойтись.

Комментарии пользователей (3)

irrwisch
49

408 | 160

irrwisch - 14 августа 2016 17:45 - Юзер

***Комментарий удален***

HELP-ROOT
4

28 | 7

HELP-ROOT - 14 августа 2016 18:31 - Юзер

Для DLE по идее хватит вообще

User-agent: *

Disallow: /engine/

Sitemap:
Host:

Ну, а так, каждый делает по своему

VvelLogin
11 | 1

VvelLogin - 14 августа 2016 18:41 - Юзер

Пробовал написать Disallow: /engine/
Но тогда вместо названия показывало "Посетить сайт автора" а вместо description "Описание недоступно из-за ограничений в файле robots.txt."

Чтобы комментировать - войдите или зарегистрируйтесь на сайте

Похожие вопросы