Задать вопрос
Не нравятся результаты поиска? Попробуйте другой поиск!
DLE FAQ » Все вопросы » Общие вопросы » Как составить robots.txt на DLE в 2020 году ?

Как составить robots.txt на DLE в 2020 году ?

     17.08.2020    dle, robots.txt    Общие вопросы, Ламерские вопросы    3860

вопрос
Вопрос правильно ли у меня составлен robot.txt , мне нужно что бы Googlebot мог получить доступ к файлам CSS и JS на сайте. помогите разобраться!

User-agent: Mediapartners-Google
Allow: /

User-agent: *
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /upgrade/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /catalog/
Disallow: /xfsearch/
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments

и в чем разница если та /index.php?do=addnews или так /*do=addnews ?

Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts

Ответа пока нет

 

11 комментариев

UsurpatorVaticana
Юзер

UsurpatorVaticana - 17 августа 2020 23:56 -

Также как в 2019
nikolay.safronov
Юзер

nikolay.safronov - 18 августа 2020 13:34 -

А зачем закрывать .css и .js? В индекс эти файлы не попадут в любом случае.
palladiums2020
Юзер

palladiums2020 - 18 августа 2020 13:47 -

UsurpatorVaticana,
Одни умника тут я погляжу ))
palladiums2020
Юзер

palladiums2020 - 18 августа 2020 13:48 -

nikolay.safronov,
Не закрывать их нужно а открыть для Googlebot
raimikmb
Юзер

raimikmb - 18 ноября 2020 11:04 -

Привет всем! Вот мой вариант но не уверен по поводу строк Disallow: */page/*/
Disallow: */page/ ???


User-agent: *
Disallow: /2020/
Disallow: /engine/go.php
Disallow: /engine/
Disallow: /user/
Disallow: /newposts/
Disallow: /tags/
Disallow: /favorites/
Disallow: /lastnews/
Disallow: /catalog/
Disallow: */page/*/
Disallow: */page/
Disallow: /statistics.html
Disallow: /addnews.html
Disallow: /rules.html
Disallow: /dle-rules-page.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*?*


Что скажите??? Что я пропустил???

Allow: /*.js
Allow: /*.css
Allow: /engine/classes/js/
Allow: /engine/classes/min/index.php
Allow: /engine/data/emoticons/

такие строки не помешают.
raimikmb
Юзер

raimikmb - 18 ноября 2020 19:27 -

Не ужели все стандартный используют?
TeraMoune
Эксперт

TeraMoune - 18 ноября 2020 19:57 -

Да, всё начинается с него, а дальше уже изменяется в зависимости от предпочтений владельца сайта.
Тестовый репозиторий установки плагинов: teramoune
raimikmb
Юзер

raimikmb - 18 ноября 2020 20:06 -

Это понятно. Я привел свой пример и пытаюсь понять правильно ли я прописал строки:
Disallow: */page/*/
Disallow: */page/

и нужны ли эти:

Allow: /*.js
Allow: /*.css
Allow: /engine/classes/js/
Allow: /engine/classes/min/index.php
Allow: /engine/data/emoticons/
TeraMoune
Эксперт

TeraMoune - 18 ноября 2020 20:57 -

пытаюсь понять правильно ли

Возможно. Но чтобы понять точно стоит проверить на практике и убедится действует ли правило для робота и главное как оно воспринимается роботом. (Написать то правило можно верно, но вот результат его работы может быть не таким каким ожидает администратор)

А еще у яндекса и гугла есть инструменты для проверки файла на ошибки.

Ищите статьи и читайте больше, так будете получать знания и рекомендации. Там же рядом будите видеть примеры с объяснением.

Информативная статья с примерами и пояснениями.
https://netpeak.net/ru/blog/chto-takoe-robots-txt-i-zachem-on-voobshche-nuzhen/

Инструмент валидации.
https://www.google.com/webmasters/tools/robots-testing-tool
https://webmaster.yandex.ru/tools/robotstxt/

P.S. В интернете очень много тем по этому вопросу.
Тестовый репозиторий установки плагинов: teramoune
wpteh.ru
Юзер

wpteh.ru - 6 мая 2021 07:53 -

Не хочу плодить темы, напишу тут. Вот в этой статье https://dampi.ru/pravilnyiy-robots-txt-dlya-sayta-na-wordpress автор утверждает о том, что если открыть uploads для всех ботов, то в индексе появляются загруженные PDF и прочие текстовые файлы. А в яндекс вебмастере, в отчете "Исключенные страницы" появляются сообщения об ошибке при индексировании картинок, мол содержимое не поддерживается. Вот и не знаю кому верить... Помогите разобраться в конце-то концов
manucoz
Юзер

manucoz - 6 марта 2022 08:59 -

***Комментарий удален***
Чтобы комментировать - войдите или зарегистрируйтесь на сайте

Похожие вопросы

 21.11.2013 doktorpull  Общие вопросы, Ламерские вопросы
 15.12.2013 par14ok  Общие вопросы
 22.10.2014 mixa920808  Общие вопросы, Шаблоны (TPL), Общие вопросы по PHP
 28.03.2016 krasszen  Общие вопросы
 11.05.2016 dimon174  Общие вопросы
 26.05.2016 Colonizator  Общие вопросы
 15.08.2016 Rahmukov  Общие вопросы
 29.03.2017 VIPERst  Общие вопросы
 03.06.2017 Jehmel  Общие вопросы
 06.02.2018 stanmitchell  Общие вопросы
  • TeraMoune | Как отключить миниатюры стандартной гале ...
    Фото TeraMoune
    TeraMoune
    Как отключить миниатюры стандартной галереи Fancybox?
    Сегодня, 06:00
    В файле engine/classes/fancybox/fancybox.js искать нужную инициализацию и добавлять соответствующие параметры, весь список параметров и их описание можно найти на этой странице https://fancyapps.com/fancybox/api/options/

    Например: параметр Thumbs: false отключает миниатюры.
    Fancybox.bind("[data-highslide]", {
	groupAttr: 'data-highslide',
	idle:2000,
	Thumbs: false,
	caption: (fancybox, slide) => {
		if(  slide.thumbEl && slide.thumbEl.alt ) {
			return slide.thumbEl.alt
		}
	}
});
  • derebas | Как реализовать шифрование трафика? 3
    Фото derebas
    derebas
    Как реализовать шифрование трафика?
    18-11-2024, 16:52
    Ну в теории, можно использовать src на site.com разместить прокси на site2.com а выдавать видео с site3.com, при этом прямой доступ на site3.com закрыть, отдача будет только если запрос с site2.com, таким образом палится только site2.com, НО источник потокового видео, все равно можно увидеть если захотеть, а ссылки, ну купить домен dsac-43efew-csdds.uz как пример
  • Gordi | Перенёс сайт - не работают кнопки, не от ... 8
    Фото Gordi
    Gordi
    Перенёс сайт - не работают кнопки, не отображаются новости. Как вылечить?
    18-11-2024, 14:46
    я уже делал. Пользователь 1000 (это я так понимаю root) и chmod 777
    Так и было...
  • lutskboy | Перенёс сайт - не работают кнопки, не от ... 8
    Фото lutskboy
    lutskboy
    Перенёс сайт - не работают кнопки, не отображаются новости. Как вылечить?
    18-11-2024, 14:39
    чтоб не удалять выстави права и пользователя какие там идут на файлы. .
  • Gordi | Перенёс сайт - не работают кнопки, не от ... 8
    Фото Gordi
    Gordi
    Перенёс сайт - не работают кнопки, не отображаются новости. Как вылечить?
    18-11-2024, 14:37
    т.е. мне снести всё, что я уже загрузил как root, зайти под юзером и закачать снова?
    Видосы в директории upload можно хоть оставить? их там 80 Гб
  • lutskboy | Перенёс сайт - не работают кнопки, не от ... 8
    Фото lutskboy
    lutskboy
    Перенёс сайт - не работают кнопки, не отображаются новости. Как вылечить?
    18-11-2024, 14:17
    фтп обычный юзер а не root
  • Gordi | Перенёс сайт - не работают кнопки, не от ... 8
    Фото Gordi
    Gordi
    Перенёс сайт - не работают кнопки, не отображаются новости. Как вылечить?
    18-11-2024, 14:15
    дэк только так и загружаю
  • Gordi | Как реализовать шифрование трафика? 3
    Фото Gordi
    Gordi
    Как реализовать шифрование трафика?
    18-11-2024, 14:14
    я тоже не понимаю....товарищ один, представитель хостинга сказал, что даже есть модули такие специальные под популярные цмс
  • lutskboy | Перенёс сайт - не работают кнопки, не от ... 8
    Фото lutskboy
    lutskboy
    Перенёс сайт - не работают кнопки, не отображаются новости. Как вылечить?
    18-11-2024, 14:13
    Gordi,
    через фтп загружай
  • Gordi | Перенёс сайт - не работают кнопки, не от ... 8
    Фото Gordi
    Gordi
    Перенёс сайт - не работают кнопки, не отображаются новости. Как вылечить?
    18-11-2024, 14:11
    Привет Николай!
    Всегда загружал от root... посмотришь может? твой плагин тоже не виден ((
    или направь на путь истинный, пжст
наверх