Не нравятся результаты поиска? Попробуйте другой поиск!
dle-faq.ru FAQ (все вопросы) Общие вопросы Googlebot не может получить доступ к файлам CSS и JS на сайте, что делать?

Googlebot не может получить доступ к файлам CSS и JS на сайте, что делать?


     28.07.2015    Общие вопросы    1638

вопрос
Здравствуйте! DLE 10.1

Пришло письмо от гугла, что делать??? У меня в robots прописано:

User-agent: *
Disallow: /engine/
Host: site.ru
Sitemap: http://site.ru/sitemap.xml


В engine.php:
if (
    $do == 'addnews' OR /* Страница добавления новости с сайта */
    //$do == 'alltags' OR /* Страница просмотра списка тегов */
    $do == 'feedback' OR /* Страница формы обратной связи */
    $do == 'favorites' OR /* Страницы закладок пользователей */
    $do == 'lastcomments' OR /* Страница просмотра всех последних комментариев на сайте, в т.ч. комментариев отдельного пользователя */
    $do == 'lastnews' OR /* Страница просмотра всех последних новостей */
    $do == 'lostpassword' OR /* Страница восстановления пароля */
    $do == 'pm' OR /* Страницы личных сообщений пользователей */
    $do == 'register' OR /* Страница регистрации нового пользователя */
    $do == 'rules' OR /* Страница правил сайта */
    $do == 'stats' OR /* Страница статистики сайта */
    $do == 'search' OR /* Страница поиска и результатов поиска */
    //$do == 'static' OR /* Все статические страницы */
    //$do == 'tags' OR /* Просмотр новостей по тегу */
    //$do == 'xfsearch' OR /* Просмотр новостей по доп. полям */
    $subaction == 'allnews' OR /* Просмотр всех новостей пользователя */
    $subaction == 'newposts' OR /* Просмотр непрочитанных новостей для пользователя */
    //$subaction == 'showfull' OR /* Просмотр полной новости */
    $subaction == 'userinfo' OR /* Просмотр профиля пользователя */
    $dle_module == 'date' OR /* Просмотр архива новостей за год/месяц/день. Заменяет собой сразу все три следующие строки */
    //($year != '' and $month == '' and $day == '') OR /* Просмотр архива новостей за год */
    //($year != '' and $month != '' and $day == '') OR /* Просмотр архива новостей за месяц */
    //($year != '' and $month != '' and $day != '' and $subaction == '') OR /* Просмотр архива новостей за день */
    //(intval($_GET['cstart']) > 1 ) OR /* Любые страницы пагинации */
    //($dle_module == 'main' and (intval($_GET['cstart']) > 1)) OR /* Страницы пагинации для главной страницы */
    //($do == 'cat' and $category != '' and $subaction == '' and (intval($_GET['cstart']) > 1)) OR /* Страницы пагинации только для категорий */
    //($do == 'cat' and $category != '' and $subaction == '') OR /* Просмотр любой категории */
    //($do == 'cat' and $category_id == 'X' and $subaction == '') OR /* Просмотр определенной категории. X заменить на id категории */
    $catalog != '' /* Просмотр каталога по буквенному идентификатору */
    ) $metatags .= <<<HTML
\n<meta name="robots" content="noindex,nofollow" />
HTML;


Нигде ничего не закрыто.

Два раза нажал на сканировать и несколько раз получить и отобразить (где галочка) http://prntscr.com/7y1rim

Главное js папка отображается, а у css пишет ошибка. Если не разрешить, то гугл понизит сайт в выдаче. Что нужно делать? В .htaccess что-то прописать?

Ответил: ПафНутиЙ


После
Disallow: /engine/

пропишите:
Allow: /engine/classes/js/
Allow: /engine/classes/min/index.php
Allow: /engine/data/emoticons/

Проверьте сколько раз на странице подключены стили, судя по скриншоту всё ок, но бот аж три раза обратился к файлу.

Комментарии пользователей (12)

Ddos-hi
2

25 | 1

Ddos-hi - 28 июля 2015 20:21 - Юзер

site.ru/engine/classes/js/dle_js.js

тут заблочено, блин... Как правильно разрешить только одну папку в engine? А все другое запретить. Там куча папок и файлов..


А этот файл dle_js он в движке задействован или только в шаблоне?? Если я его уберу в папку с шаблоном ничего не будет?

Sexo
1

21

Sexo - 28 июля 2015 21:58 - Юзер


Это типа robots Алаева да? Его нужно убрать. И использовать норм robots. И у меня такой же стоял и убрал после того как гугл дал замечание.
Вот тоже самое на этом сайте

Ddos-hi
2

25 | 1

Ddos-hi - 28 июля 2015 23:18 - Юзер

Норм роботс это какой?? Если его убирать, то там куча вправок вроде было

Sexo
1

21

Sexo - 28 июля 2015 23:25 - Юзер

на пример из дефолтного шаблона + добавит еще то что нужно скрыть.
Ясное дело, что мы не хотим кое что показать гуглу, но он хочет этого видеть, решать вам.

Ddos-hi
2

25 | 1

Ddos-hi - 28 июля 2015 23:25 - Юзер

А что именно лучше скрыть от гугла??? Заинтриговали.

Sexo
1

21

Sexo - 28 июля 2015 23:30 - Юзер

Ну я же не знаю что вы хотите скрыть а что нет? Это вопрос решает владелец сайта.
вот на пример у меня такой
User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search

хост
карта

Все круто, на трафик с поисковиков не жалуюсь

Ddos-hi
2

25 | 1

Ddos-hi - 28 июля 2015 23:36 - Юзер

Ну у меня ничего противозаконного нет))

Sexo
1

21

Sexo - 28 июля 2015 23:46 - Юзер

Не для того скрывают, при чем тут законность.
На пример (Это для примера и грубо)
Если у вас не скрыт от поисковиков /user/ а на вашем сайте зарегистрирован пользователь под ником "Волосатый торт" гугл будет его индексировать и разместить в топе А новость которую вы хотели видеть в топе нет, А это вам надо?

Ddos-hi
2

25 | 1

Ddos-hi - 28 июля 2015 23:52 - Юзер

Почему же, возможно продвинуть топ две страницы))) Один случайно залетел, а второй уже с личным вмешательством) В общем я понял.

Блин, надо еще как-то адаптировать к 10.5 сайт..а то до сих по на 10.1 сижу... Заодно ненужные модули уберутся.

stopani
2

114 | 21

stopani - 1 августа 2015 01:21 - Юзер

Да это наверное у тебя дело в шаблоне смартфон или вообще его нет.

lopirevair
4

lopirevair - 3 августа 2015 13:14 - Юзер

Вот подробная инструкция как устранить эту проблему http://seoprofy.ua/blog/optimizaciya-sajtov/googlebot-css-js Пользуйтесь!

Felix
1

25 | 8

Felix - 3 августа 2015 14:55 - Юзер

Переделай robots.txt так:

Это
User-agent: *
Disallow: /engine/
Host: site.ru
Sitemap: http://site.ru/sitemap.xml

Замени на это
User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search
Host: site.ru
Sitemap: http://site.ru/sitemap.xml

В папке engine лежат JS файлы Dle
/engine/classes/js/jquery.js
/engine/classes/js/jqueryui.js
/engine/classes/js/dle_js.js
/engine/classes/js/bbcodes.js

Они у вас закрыты от индексации, на это и ругается гугл.

Чтобы комментировать - войдите или зарегистрируйтесь на сайте

Похожие вопросы