Задать вопрос
Не нравятся результаты поиска? Попробуйте другой поиск!
DLE FAQ » Все вопросы » Общие вопросы » Правильный Robots.txt на dle какой он ?

Правильный Robots.txt на dle какой он ?

     11.05.2016    Все вопросы » Общие вопросы    7212

вопрос
Всем доброго вечера уже года 3 не делал сайты. Cейчас взялся добавить свой первый сайт в поисковую систему и сразу получил ошибку в Search Console
Правильный Robots.txt на dle какой он ?
как быть? что делать ? правильно ли я все сделал ? структура Robots.txt
User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search

Правильно ли все ???

Ответил: ПафНутиЙ

User-agent: *
Disallow: /engine/
Allow: /engine/classes/js/
Allow: /engine/classes/min/index.php
Allow: /engine/data/emoticons/

Host: dle-faq.ru
Sitemap: http://dle-faq.ru/sitemap.xml


Остальное делайте по статье http://alaev.info/blog/post/3900

5 комментариев

ПафНутиЙ
Админ

ПафНутиЙ - 11 мая 2016 22:36 -

***Комментарий удален***
Каков вопрос - таков и ответ. Просто помните об этом.
Serik
Местный

Serik - 12 мая 2016 15:53 -

А смайлики с какой хитрой целью открывать ? )
СПАСИБО надо тыкать в кнопку!
ПафНутиЙ
Админ

ПафНутиЙ - 12 мая 2016 16:12 -

Так ведь картинки, на которые ругается гуглобот.
Каков вопрос - таков и ответ. Просто помните об этом.
dimon174
Юзер

dimon174 - 12 мая 2016 05:57 -

ПафНутиЙ,
Спасибо полезно было почитать:-)
DomiTori
Юзер

DomiTori - 23 июля 2016 14:46 -

Как вариант

User-agent: *
Allow: /uploads/posts/
Disallow: /engine/go.php
Disallow: /favorites/
Disallow: /cache/
Disallow: /page/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /backup/
Disallow: /tags/
Disallow: */engine/*
Disallow: /engine/
Disallow: /category/
Disallow: /cheaptop_script.php
Disallow: /addnews.html
Disallow: */page/*
Disallow: */thumbs/*
Disallow: /user/
Disallow: /2014/
Disallow: /*print 
Disallow: /*do=addnews
Disallow: /*do=feedback
Disallow: /*do=lastcomments
Disallow: /*do=lostpassword
Disallow: /*do=pm
Disallow: /*do=rules
Disallow: /*do=register
Disallow: /*do=search
Disallow: /*do=stats
Disallow: /*action=mobile$
Disallow: /*html?http*
Disallow: /*utm_medium*
Disallow: /?do=*
Disallow: /*?do=*
Disallow: /?iframe*
Disallow: /?p*
Disallow: /?*
Disallow: /yasearch.html$
Host: сайт.ру
Sitemap: http://сайт.ру/sitemap.xml

User-agent: Yandex
Allow: /uploads/posts/
Disallow: /engine/go.php
Disallow: /category/
Disallow: /cheaptop_script.php
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /page/
Disallow: /addnews.html
Disallow: */page/*
Disallow: */engine/*
Disallow: /engine/
Disallow: */thumbs/*
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /backup/
Disallow: /tags/
Disallow: /*do=rules
Disallow: /user/
Disallow: /2014/
Disallow: /print
Disallow: /?p*
Disallow: /*utm_medium
Disallow: /*action=mobile
Disallow: /do=*
Disallow: /?iframe*
Disallow: /*html?http*
Disallow: /*do=*
Disallow: /yasearch.html$

Sitemap: http://сайт.ру/sitemap.xml
Чтобы комментировать - войдите или зарегистрируйтесь на сайте

Похожие вопросы

 24.11.2012 olleg  Общие вопросы
 21.11.2013 doktorpull  Общие вопросы, Ламерские вопросы
 28.11.2013 record-games  Общие вопросы
 15.12.2013 par14ok  Общие вопросы
 11.07.2014 Skyter  Общие вопросы
 22.10.2014 mixa920808  Общие вопросы, Шаблоны (TPL), Общие вопросы по PHP
 08.04.2015 Mambaman  Общие вопросы, Ламерские вопросы
 01.09.2015 HidaN20  Общие вопросы
 21.09.2015 fenix987  Общие вопросы, Ламерские вопросы
 28.03.2016 krasszen  Общие вопросы
  • derebas | Нужо доработать плагин связанных новосте ... 1
    Фото derebas
    derebas
    Нужо доработать плагин связанных новостей
    23-12-2024, 22:42
    1. --
    2. Не будет работать с добавлением новостей, т.к. ID еще не существует, только переработка принципа самого доп. поля. Что касается существующего состояния, просто добавьте один query запрос при нажатии на + который и будет добавлять параметр в sql
    3. стрипслэш
    4. Скачал, попробывал, не заметил такой проблемы, возможно нужно в ajax уточнить параметр
    5. Просмотрев модуль, изначально алерт идет об однократных связях, как туда может попасть "лишняя" новость не совсем понятно.

    В любом случае обратитесь к teraMoune как к специалисту
  • non-stop | Как решить проблему индексации DLE в пои ... 4
    Фото non-stop
    non-stop
    Как решить проблему индексации DLE в поиске Bing?
    23-12-2024, 08:43
    Проверил также количество страниц в поиске BING
    site:adressayta.com

    в поиске всего 3 страницы
    Sitemap как ни пытался скормить - не выходит. выдает ошибку
    Неприемлемая карта сайта
    Невозможно получить URL-адреса с карты сайта


    Мне кажется что причина в файле .httaccess
    тк при попытке скармливания постранично - выдает ошибку перенаправления
    URL перенаправления цели:https://........ ./index.php?do=static&page=406.&seourl=406.
  • Sud3n | Как решить проблему индексации DLE в пои ... 4
    Фото Sud3n
    Sud3n
    Как решить проблему индексации DLE в поиске Bing?
    22-12-2024, 20:44
    Ошибка, если посмотреть есть ли страничка в индексе
    Но версия DLE у меня старая, сомневаюсь, что дело в версии
  • Sud3n | Как решить проблему индексации DLE в пои ... 4
    Фото Sud3n
    Sud3n
    Как решить проблему индексации DLE в поиске Bing?
    22-12-2024, 20:42
    У меня почему-то Bing вообще не индексирует сайт после добавления в Вебмастер
  • non-stop | Как решить проблему индексации DLE в пои ... 4
    Фото non-stop
    non-stop
    Как решить проблему индексации DLE в поиске Bing?
    19-12-2024, 17:02
    Забыл написать что обновился до последней версии 17.3
    Интересно узнать, это только у меня проблема, или это проблема движка? проверьте свои сайты на наличие в поиске Bing.
    В 11 винде именно эта поисковая система стоит по умолчанию . кроме того эта же поисковая система отвечает за индекс еще одного поисковика - yahoo. Эти системы могут давать дополнительный процент пискового трафика на сайты.
  • lutskboy | Как максимально грамотно организовать до ... 1
    Фото lutskboy
    lutskboy
    Как максимально грамотно организовать добавление материалов через SQL-запросы?
    18-12-2024, 21:39
    все верно. related_ids автоматом заполняется потом.
  • derebas | Убираем xfsearch из адресной строки 7
    Фото derebas
    derebas
    Убираем xfsearch из адресной строки
    16-12-2024, 02:35
    в правилах транслитерации для tagvalue поставьте замену " " => "-", например так
    str_replace(array('.', ' ', '/', '&', "'", '+', '«', '»', ':', '!'), array('', '-', '-', 'and', '', '', '', '', '', '')
  • toxicpioner | Убираем xfsearch из адресной строки 7
    Фото toxicpioner
    toxicpioner
    Убираем xfsearch из адресной строки
    15-12-2024, 19:31
    если в доп поле есть пробел, будет выдавать просто 403 стр
  • dj-avtosh | Воспользовался хаком удаление html из ад ... 2
    Фото dj-avtosh
    dj-avtosh
    Воспользовался хаком удаление html из адресной строки у новости, появилась ошибка, как пофиксить?
    12-12-2024, 17:26
    Нужно правило с year поднять выше всех в .htaccess
  • TeraMoune | Воспользовался хаком удаление html из ад ... 2
    Фото TeraMoune
    TeraMoune
    Воспользовался хаком удаление html из адресной строки у новости, появилась ошибка, как пофиксить?
    11-12-2024, 22:12
    У вас убрано слишком много отличительных признаков в ссылках и теперь ссылки пересекаются. Убрали xfsearch, убрали html, а так же зачем то убрали дефиз разделяющий id и alt_name. Теперь некоторые ссылки будут отвечать выражению под правила ссылок новостей. Исправить вы можете только переосмыслив эти ссылки и добавить в них каких-то отличительных особенностей, переосмыслить чпу.
наверх