Googlebot не может получить доступ к файлам CSS и JS (robots.txt) ?

Abi 28.07.2015 Все вопросы » Общие вопросы 5319

вопрос

Многим админам сайтов на ДЛЕ сегодня пришли уведомления в панель вебмастеров гугла с сообщением:

Googlebot не может получить доступ к файлам CSS и JS на сайте xxxxxxxxxxxx

Веб-мастеру сайта xxxxxxxxxxxxxx

Мы обнаружили на Вашем сайте проблему, которая может помешать его сканированию. Робот Googlebot не может обработать код javascript и/или файлы CSS из-за ограничений в файле robots.txt. Эти данные нужны, чтобы оценить работу сайта. Поэтому если доступ к ресурсам будет заблокирован, то это может ухудшить позиции Вашего сайта в Поиске.

Чтобы устранить проблему, выполните следующие действия:
1 Определите заблокированные ресурсы

Используйте эту функцию, чтобы узнать, какие ресурсы заблокированы в файле robots.txt.
Просмотреть как Googlebot
2 Обновите файл robots.txt

Откройте доступ к коду javascript и файлам CSS в файле robots.txt и проверьте его с помощью инструмента на странице https://www.google.com/webmasters/tools/robots-testing-tool?hl=ru. После этого обновите файл на сайте и отправьте его в Search Console.
Проверить файл robots.txt
3 Убедитесь, что проблема устранена

Просканируйте сайт, выбрав параметр "Mobile: smartphone", чтобы убедиться, смогут ли смартфоны корректно обрабатывать контент.
Просмотреть как Googlebot

Нужна помощь? Подробнее...
• Узнайте, как проверить файл robots.txt.
• Изучите статью о том, как оптимизировать сайт для мобильных устройств.
• Ознакомьтесь со спецификациями файла robots.txt, чтобы узнать, как управлять доступом к ресурсам.
• Запретите сканирование сайта с помощью метатегов или HTTP-заголовка X-robots-tag.
• Задавайте вопросы на форуме. Не забудьте указать категорию сообщения [WNC-658001].

У меня на сайте используется метод от Алаева и Robots.txt имеет такой вид:

User-agent: *
Disallow: /engine/
Host: xxxxxxxxxxx
Sitemap: http://xxxxxxxxxx/sitemap.xml

Если посмотреть что именно не нравится гуглу то увидим следующее:

engine/classes/min/index.php?charset=windows-1251&g=general&8    Скрипт    Заблокировано
engine/classes/min/index.php?charset=windows-1251&f=engine/classes/highslide/highslide.js&8    Скрипт    Заблокировано
engine/classes/min/index.php?charset=windows-1251&f=/templates/xxxxx/style/styles.css,/templates/xxxxxx/style/engine.css&7    Таблица стилей    Заблокировано
http://counter.yadro.ru/hit?t45.5;r;s1024*768*24;    Изображение    Ошибка
http://mc.yandex.ru/metrika/watch.js    Скрипт    Заблокировано

Разработчики движка DLE пока никак не реагируют на подобное.

Ответа пока нет

12 комментариев

PHP-developer

2583

vitnet - 2015-07-2828 июля 2015 18:55 - #46881

Abi,
Ошибок: 0 Предупреждений: 0

User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
....
Host: xxxxxxxxxxx
Sitemap: http://xxxxxxxxxx/sitemap.xml

Юзер

Abi - 2015-07-2828 июля 2015 19:48 - #46884

vitnet,

У меня тоже Ошибок: 0Предупреждений: 0

но стоит зайти в Просмотреть как Googlebot / кнопка ПОЛУЧИТЬ И ОТОБРАЗИТЬ

и сразу будет видно то, из-за чего пришло письмо от Гоши.

PHP-developer

2583

vitnet - 2015-07-2828 июля 2015 20:06 - #46885

Так это потому что у вас до этого был кривой robots.txt

Юзер

Abi - 2015-07-2828 июля 2015 20:23 - #46887

Цитата: vitnet

Так это потому что у вас до этого был кривой robots.txt

я его с 2013 года не менял и в данный момент он тот же.

Гугл требует открыть доступ к яваскриптам и файлам css...

Юзер

Ddos-hi - 2015-07-2828 июля 2015 20:39 - #46888

Я такую же тему создал, а оказывается создали тут.

У меня такая же проблема. С 2013 года был метод Алаеча. Пока сделал так:

User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Host: site.ru
Sitemap: http://site.ru/sitemap.xml

А было как у вас в первом сообщении. У меня ошибка на стили, почему я не знаю. Стили никак не закрыты. Может их никак не прочесть??

А в engine.php:

if (
    $do == 'addnews' OR /* Страница добавления новости с сайта */
    //$do == 'alltags' OR /* Страница просмотра списка тегов */
    $do == 'feedback' OR /* Страница формы обратной связи */
    $do == 'favorites' OR /* Страницы закладок пользователей */
    $do == 'lastcomments' OR /* Страница просмотра всех последних комментариев на сайте, в т.ч. комментариев отдельного пользователя */
    $do == 'lastnews' OR /* Страница просмотра всех последних новостей */
    $do == 'lostpassword' OR /* Страница восстановления пароля */
    $do == 'pm' OR /* Страницы личных сообщений пользователей */
    $do == 'register' OR /* Страница регистрации нового пользователя */
    $do == 'rules' OR /* Страница правил сайта */
    $do == 'stats' OR /* Страница статистики сайта */
    $do == 'search' OR /* Страница поиска и результатов поиска */
    //$do == 'static' OR /* Все статические страницы */
    //$do == 'tags' OR /* Просмотр новостей по тегу */
    //$do == 'xfsearch' OR /* Просмотр новостей по доп. полям */
    $subaction == 'allnews' OR /* Просмотр всех новостей пользователя */
    $subaction == 'newposts' OR /* Просмотр непрочитанных новостей для пользователя */
    //$subaction == 'showfull' OR /* Просмотр полной новости */
    $subaction == 'userinfo' OR /* Просмотр профиля пользователя */
    $dle_module == 'date' OR /* Просмотр архива новостей за год/месяц/день. Заменяет собой сразу все три следующие строки */
    //($year != '' and $month == '' and $day == '') OR /* Просмотр архива новостей за год */
    //($year != '' and $month != '' and $day == '') OR /* Просмотр архива новостей за месяц */
    //($year != '' and $month != '' and $day != '' and $subaction == '') OR /* Просмотр архива новостей за день */
    //(intval($_GET['cstart']) > 1 ) OR /* Любые страницы пагинации */
    //($dle_module == 'main' and (intval($_GET['cstart']) > 1)) OR /* Страницы пагинации для главной страницы */
    //($do == 'cat' and $category != '' and $subaction == '' and (intval($_GET['cstart']) > 1)) OR /* Страницы пагинации только для категорий */
    //($do == 'cat' and $category != '' and $subaction == '') OR /* Просмотр любой категории */
    //($do == 'cat' and $category_id == 'X' and $subaction == '') OR /* Просмотр определенной категории. X заменить на id категории */
    $catalog != '' /* Просмотр каталога по буквенному идентификатору */
    ) $metatags .= <<<HTML
\n<meta name="robots" content="noindex,nofollow" />
HTML;

Юзер

Abi - 2015-07-2828 июля 2015 20:48 - #46889


Disallow: /engine/go.php
Disallow: /engine/download.php

это стандартный вариант кода от разработчиков, но он также не проходит проверку Гошей по стилям. В общем все печально.

Тут дело не правках Алаича, так как у меня Гоша матерится даже на скрипты яндекс метрики и счетчика.

Юзер

Ddos-hi - 2015-07-2828 июля 2015 20:50 - #46890

Он проходит проверку с js, так как ранее было в роботс только Disallow: /engine/

Юзер

Ddos-hi - 2015-07-2828 июля 2015 20:59 - #46893

Разобрался. Стили ему не важны, только js.

Зайдите в панель вебмастера, затем Индекс Гугл - заблокированные. Там найдете.

Юзер

Ddos-hi - 2015-07-2828 июля 2015 21:02 - #46894

Модератор гугла отвечает https://plus.google.com/114797185128210423486/posts/hE8xCix7xkX

Юзер

Ddos-hi - 2015-07-2828 июля 2015 21:07 - #46896

У меня теперь и стили отображаются http://prntscr.com/7y2g6m ))) Только в моб версии ошибка.