Как составить robots.txt на DLE в 2020 году ?

palladiums2020 17.08.2020 dle, robots.txt Общие вопросы, Ламерские вопросы 3913

вопрос

Вопрос правильно ли у меня составлен robot.txt , мне нужно что бы Googlebot мог получить доступ к файлам CSS и JS на сайте. помогите разобраться!

User-agent: Mediapartners-Google
Allow: /

User-agent: *
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /upgrade/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /catalog/
Disallow: /xfsearch/
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments

и в чем разница если та /index.php?do=addnews или так /*do=addnews ?

Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts

Ответа пока нет

11 комментариев

Юзер

166

UsurpatorVaticana - 2018-02-0617 августа 2020 23:56 - #77283

Также как в 2019

Юзер

104

nikolay.safronov - 2018-02-0618 августа 2020 13:34 - #77286

А зачем закрывать .css и .js? В индекс эти файлы не попадут в любом случае.

Юзер

palladiums2020 - 2018-02-0618 августа 2020 13:47 - #77287

UsurpatorVaticana,
Одни умника тут я погляжу ))

Юзер

palladiums2020 - 2018-02-0618 августа 2020 13:48 - #77288

nikolay.safronov,
Не закрывать их нужно а открыть для Googlebot

Юзер

raimikmb - 2018-02-0618 ноября 2020 11:04 - #78353

Привет всем! Вот мой вариант но не уверен по поводу строк Disallow: */page/*/
Disallow: */page/ ???


User-agent: *
Disallow: /2020/
Disallow: /engine/go.php
Disallow: /engine/
Disallow: /user/
Disallow: /newposts/
Disallow: /tags/
Disallow: /favorites/
Disallow: /lastnews/
Disallow: /catalog/
Disallow: */page/*/
Disallow: */page/
Disallow: /statistics.html
Disallow: /addnews.html
Disallow: /rules.html
Disallow: /dle-rules-page.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*?*

Что скажите??? Что я пропустил???

Allow: /*.js
Allow: /*.css
Allow: /engine/classes/js/
Allow: /engine/classes/min/index.php
Allow: /engine/data/emoticons/

такие строки не помешают.

Юзер

raimikmb - 2018-02-0618 ноября 2020 19:27 - #78363

Не ужели все стандартный используют?

Эксперт

801

TeraMoune - 2018-02-0618 ноября 2020 19:57 - #78364

Да, всё начинается с него, а дальше уже изменяется в зависимости от предпочтений владельца сайта.

Тестовый репозиторий установки плагинов: teramoune

Юзер

raimikmb - 2018-02-0618 ноября 2020 20:06 - #78365

Это понятно. Я привел свой пример и пытаюсь понять правильно ли я прописал строки:
Disallow: */page/*/
Disallow: */page/

и нужны ли эти:

Allow: /*.js
Allow: /*.css
Allow: /engine/classes/js/
Allow: /engine/classes/min/index.php
Allow: /engine/data/emoticons/

Эксперт

801

TeraMoune - 2018-02-0618 ноября 2020 20:57 - #78366

пытаюсь понять правильно ли

Возможно. Но чтобы понять точно стоит проверить на практике и убедится действует ли правило для робота и главное как оно воспринимается роботом. (Написать то правило можно верно, но вот результат его работы может быть не таким каким ожидает администратор)

А еще у яндекса и гугла есть инструменты для проверки файла на ошибки.

Ищите статьи и читайте больше, так будете получать знания и рекомендации. Там же рядом будите видеть примеры с объяснением.

Информативная статья с примерами и пояснениями.
https://netpeak.net/ru/blog/chto-takoe-robots-txt-i-zachem-on-voobshche-nuzhen/

Инструмент валидации.
https://www.google.com/webmasters/tools/robots-testing-tool
https://webmaster.yandex.ru/tools/robotstxt/

P.S. В интернете очень много тем по этому вопросу.

Тестовый репозиторий установки плагинов: teramoune

Юзер

wpteh.ru - 2018-02-066 мая 2021 07:53 - #79724

Не хочу плодить темы, напишу тут. Вот в этой статье https://dampi.ru/pravilnyiy-robots-txt-dlya-sayta-na-wordpress автор утверждает о том, что если открыть uploads для всех ботов, то в индексе появляются загруженные PDF и прочие текстовые файлы. А в яндекс вебмастере, в отчете "Исключенные страницы" появляются сообщения об ошибке при индексировании картинок, мол содержимое не поддерживается. Вот и не знаю кому верить... Помогите разобраться в конце-то концов

Юзер

manucoz - 2018-02-066 марта 2022 08:59 - #80605

***Комментарий удален***