Не нравятся результаты поиска? Попробуйте другой поиск!
dle-faq.ru FAQ (все вопросы) Общие вопросы Правильный Robots.txt на dle какой он ?

Правильный Robots.txt на dle какой он ?


     11.05.2016    Общие вопросы    1113

вопрос
Всем доброго вечера уже года 3 не делал сайты. Cейчас взялся добавить свой первый сайт в поисковую систему и сразу получил ошибку в Search Console
Правильный Robots.txt на dle какой он ?
как быть? что делать ? правильно ли я все сделал ? структура Robots.txt
User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search

Правильно ли все ???

Ответил: ПафНутиЙ


User-agent: *
Disallow: /engine/
Allow: /engine/classes/js/
Allow: /engine/classes/min/index.php
Allow: /engine/data/emoticons/

Host: dle-faq.ru
Sitemap: http://dle-faq.ru/sitemap.xml


Остальное делайте по статье http://alaev.info/blog/post/3900

Комментарии пользователей (5)

ПафНутиЙ
1064

3393 | 2433

ПафНутиЙ - 11 мая 2016 22:36 - Админ

***Комментарий удален***

Каков вопрос - таков и ответ. Просто помните об этом.

Serik
4

408 | 191

Serik - 12 мая 2016 15:53 - Местный

А смайлики с какой хитрой целью открывать ? )

СПАСИБО надо тыкать в кнопку!

ПафНутиЙ
1064

3393 | 2433

ПафНутиЙ - 12 мая 2016 16:12 - Админ

Так ведь картинки, на которые ругается гуглобот.

Каков вопрос - таков и ответ. Просто помните об этом.

dimon174
14

dimon174 - 12 мая 2016 05:57 - Юзер

ПафНутиЙ,
Спасибо полезно было почитать:-)

DomiTori
8

132 | 21

DomiTori - 23 июля 2016 14:46 - Юзер

Как вариант

User-agent: *
Allow: /uploads/posts/
Disallow: /engine/go.php
Disallow: /favorites/
Disallow: /cache/
Disallow: /page/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /backup/
Disallow: /tags/
Disallow: */engine/*
Disallow: /engine/
Disallow: /category/
Disallow: /cheaptop_script.php
Disallow: /addnews.html
Disallow: */page/*
Disallow: */thumbs/*
Disallow: /user/
Disallow: /2014/
Disallow: /*print
Disallow: /*do=addnews
Disallow: /*do=feedback
Disallow: /*do=lastcomments
Disallow: /*do=lostpassword
Disallow: /*do=pm
Disallow: /*do=rules
Disallow: /*do=register
Disallow: /*do=search
Disallow: /*do=stats
Disallow: /*action=mobile$
Disallow: /*html?http*
Disallow: /*utm_medium*
Disallow: /?do=*
Disallow: /*?do=*
Disallow: /?iframe*
Disallow: /?p*
Disallow: /?*
Disallow: /yasearch.html$
Host: сайт.ру
Sitemap: http://сайт.ру/sitemap.xml

User-agent: Yandex
Allow: /uploads/posts/
Disallow: /engine/go.php
Disallow: /category/
Disallow: /cheaptop_script.php
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /page/
Disallow: /addnews.html
Disallow: */page/*
Disallow: */engine/*
Disallow: /engine/
Disallow: */thumbs/*
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /backup/
Disallow: /tags/
Disallow: /*do=rules
Disallow: /user/
Disallow: /2014/
Disallow: /print
Disallow: /?p*
Disallow: /*utm_medium
Disallow: /*action=mobile
Disallow: /do=*
Disallow: /?iframe*
Disallow: /*html?http*
Disallow: /*do=*
Disallow: /yasearch.html$

Sitemap: http://сайт.ру/sitemap.xml

Чтобы комментировать - войдите или зарегистрируйтесь на сайте

Похожие вопросы