Не нравятся результаты поиска? Попробуйте другой поиск!

DLE FAQ » Все вопросы » Общие вопросы » Googlebot не может получить доступ к файлам CSS и JS (robots.txt) ?

Googlebot не может получить доступ к файлам CSS и JS (robots.txt) ?

Abi 28.07.2015 Все вопросы » Общие вопросы 5274

вопрос

Многим админам сайтов на ДЛЕ сегодня пришли уведомления в панель вебмастеров гугла с сообщением:

Googlebot не может получить доступ к файлам CSS и JS на сайте xxxxxxxxxxxx

Веб-мастеру сайта xxxxxxxxxxxxxx

Мы обнаружили на Вашем сайте проблему, которая может помешать его сканированию. Робот Googlebot не может обработать код javascript и/или файлы CSS из-за ограничений в файле robots.txt. Эти данные нужны, чтобы оценить работу сайта. Поэтому если доступ к ресурсам будет заблокирован, то это может ухудшить позиции Вашего сайта в Поиске.

Чтобы устранить проблему, выполните следующие действия:
1 Определите заблокированные ресурсы

Используйте эту функцию, чтобы узнать, какие ресурсы заблокированы в файле robots.txt.
Просмотреть как Googlebot
2 Обновите файл robots.txt

Откройте доступ к коду javascript и файлам CSS в файле robots.txt и проверьте его с помощью инструмента на странице https://www.google.com/webmasters/tools/robots-testing-tool?hl=ru. После этого обновите файл на сайте и отправьте его в Search Console.
Проверить файл robots.txt
3 Убедитесь, что проблема устранена

Просканируйте сайт, выбрав параметр "Mobile: smartphone", чтобы убедиться, смогут ли смартфоны корректно обрабатывать контент.
Просмотреть как Googlebot

Нужна помощь? Подробнее...
• Узнайте, как проверить файл robots.txt.
• Изучите статью о том, как оптимизировать сайт для мобильных устройств.
• Ознакомьтесь со спецификациями файла robots.txt, чтобы узнать, как управлять доступом к ресурсам.
• Запретите сканирование сайта с помощью метатегов или HTTP-заголовка X-robots-tag.
• Задавайте вопросы на форуме. Не забудьте указать категорию сообщения [WNC-658001].

У меня на сайте используется метод от Алаева и Robots.txt имеет такой вид:

User-agent: *
Disallow: /engine/
Host: xxxxxxxxxxx
Sitemap: http://xxxxxxxxxx/sitemap.xml

Если посмотреть что именно не нравится гуглу то увидим следующее:

engine/classes/min/index.php?charset=windows-1251&g=general&8    Скрипт    Заблокировано
engine/classes/min/index.php?charset=windows-1251&f=engine/classes/highslide/highslide.js&8    Скрипт    Заблокировано
engine/classes/min/index.php?charset=windows-1251&f=/templates/xxxxx/style/styles.css,/templates/xxxxxx/style/engine.css&7    Таблица стилей    Заблокировано
http://counter.yadro.ru/hit?t45.5;r;s1024*768*24;    Изображение    Ошибка
http://mc.yandex.ru/metrika/watch.js    Скрипт    Заблокировано

Разработчики движка DLE пока никак не реагируют на подобное.

Ответа пока нет

12 комментариев

PHP-developer

2583

vitnet - 2014-11-2128 июля 2015 18:55 - #46881

Abi,
Ошибок: 0 Предупреждений: 0

User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
....
Host: xxxxxxxxxxx
Sitemap: http://xxxxxxxxxx/sitemap.xml

Юзер

Abi - 2014-11-2128 июля 2015 19:48 - #46884

vitnet,

У меня тоже Ошибок: 0Предупреждений: 0

но стоит зайти в Просмотреть как Googlebot / кнопка ПОЛУЧИТЬ И ОТОБРАЗИТЬ

и сразу будет видно то, из-за чего пришло письмо от Гоши.

PHP-developer

2583

vitnet - 2014-11-2128 июля 2015 20:06 - #46885

Так это потому что у вас до этого был кривой robots.txt

Юзер

Abi - 2014-11-2128 июля 2015 20:23 - #46887

Цитата: vitnet

Так это потому что у вас до этого был кривой robots.txt

я его с 2013 года не менял и в данный момент он тот же.

Гугл требует открыть доступ к яваскриптам и файлам css...

Юзер

Ddos-hi - 2014-11-2128 июля 2015 20:39 - #46888

Я такую же тему создал, а оказывается создали тут.

У меня такая же проблема. С 2013 года был метод Алаеча. Пока сделал так:

User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Host: site.ru
Sitemap: http://site.ru/sitemap.xml

А было как у вас в первом сообщении. У меня ошибка на стили, почему я не знаю. Стили никак не закрыты. Может их никак не прочесть??

А в engine.php:

if (
    $do == 'addnews' OR /* Страница добавления новости с сайта */
    //$do == 'alltags' OR /* Страница просмотра списка тегов */
    $do == 'feedback' OR /* Страница формы обратной связи */
    $do == 'favorites' OR /* Страницы закладок пользователей */
    $do == 'lastcomments' OR /* Страница просмотра всех последних комментариев на сайте, в т.ч. комментариев отдельного пользователя */
    $do == 'lastnews' OR /* Страница просмотра всех последних новостей */
    $do == 'lostpassword' OR /* Страница восстановления пароля */
    $do == 'pm' OR /* Страницы личных сообщений пользователей */
    $do == 'register' OR /* Страница регистрации нового пользователя */
    $do == 'rules' OR /* Страница правил сайта */
    $do == 'stats' OR /* Страница статистики сайта */
    $do == 'search' OR /* Страница поиска и результатов поиска */
    //$do == 'static' OR /* Все статические страницы */
    //$do == 'tags' OR /* Просмотр новостей по тегу */
    //$do == 'xfsearch' OR /* Просмотр новостей по доп. полям */
    $subaction == 'allnews' OR /* Просмотр всех новостей пользователя */
    $subaction == 'newposts' OR /* Просмотр непрочитанных новостей для пользователя */
    //$subaction == 'showfull' OR /* Просмотр полной новости */
    $subaction == 'userinfo' OR /* Просмотр профиля пользователя */
    $dle_module == 'date' OR /* Просмотр архива новостей за год/месяц/день. Заменяет собой сразу все три следующие строки */
    //($year != '' and $month == '' and $day == '') OR /* Просмотр архива новостей за год */
    //($year != '' and $month != '' and $day == '') OR /* Просмотр архива новостей за месяц */
    //($year != '' and $month != '' and $day != '' and $subaction == '') OR /* Просмотр архива новостей за день */
    //(intval($_GET['cstart']) > 1 ) OR /* Любые страницы пагинации */
    //($dle_module == 'main' and (intval($_GET['cstart']) > 1)) OR /* Страницы пагинации для главной страницы */
    //($do == 'cat' and $category != '' and $subaction == '' and (intval($_GET['cstart']) > 1)) OR /* Страницы пагинации только для категорий */
    //($do == 'cat' and $category != '' and $subaction == '') OR /* Просмотр любой категории */
    //($do == 'cat' and $category_id == 'X' and $subaction == '') OR /* Просмотр определенной категории. X заменить на id категории */
    $catalog != '' /* Просмотр каталога по буквенному идентификатору */
    ) $metatags .= <<<HTML
\n<meta name="robots" content="noindex,nofollow" />
HTML;

Юзер

Abi - 2014-11-2128 июля 2015 20:48 - #46889


Disallow: /engine/go.php
Disallow: /engine/download.php

это стандартный вариант кода от разработчиков, но он также не проходит проверку Гошей по стилям. В общем все печально.

Тут дело не правках Алаича, так как у меня Гоша матерится даже на скрипты яндекс метрики и счетчика.

Юзер

Ddos-hi - 2014-11-2128 июля 2015 20:50 - #46890

Он проходит проверку с js, так как ранее было в роботс только Disallow: /engine/

Юзер

Ddos-hi - 2014-11-2128 июля 2015 20:59 - #46893

Разобрался. Стили ему не важны, только js.

Зайдите в панель вебмастера, затем Индекс Гугл - заблокированные. Там найдете.

Юзер

Ddos-hi - 2014-11-2128 июля 2015 21:02 - #46894

Модератор гугла отвечает https://plus.google.com/114797185128210423486/posts/hE8xCix7xkX

Юзер

Ddos-hi - 2014-11-2128 июля 2015 21:07 - #46896

У меня теперь и стили отображаются http://prntscr.com/7y2g6m ))) Только в моб версии ошибка.

Юзер

Ddos-hi - 2014-11-2128 июля 2015 21:14 - #46897

Как стало известно это только для мобильных устройств, а не для ПК.

Юзер

Abi - 2014-11-2128 июля 2015 21:34 - #46898

спасибо, помогло

mondolfo | Шаблон waitlogin при авторизации через с ...

mondolfo
Шаблон waitlogin при авторизации через соцсеть?
Вчера, 01:31

/engine/modules/social.php
TeraMoune | Как изменить вывод custom по нескольким ... ¹¹

TeraMoune
Как изменить вывод custom по нескольким тегам?
28-10-2024, 01:05

Я же написал, продублирую: нужно использовать [[:punct:]]

И проблема в условии проверяющее версию mysql, можно поменять местами true и false, изменить знак меньше на больше или вовсе убрать код строки с version_compare и оставить ту строку кода $tempArray[] где используется [[:punct:]].

В статье также указано, что важно использовать экранирование, собственно, что и указано в методе по исправлению ошибки.
Статья по решению проблемы

Там у человека совершенно другое условие поиска. Он не теги ищет которые строго разделены запятыми, он просто слова ищет и ему как раз подойдёт граница слова. И это когда-то давно поиск был разделяя по границе слова, теперь есть character_class и используется другой метод. Но это не отменяет того, что вы нашли вопрос и решение которое никак не связано с темой новости поиска новостей с наличием тегов.
homa152 | Как изменить вывод custom по нескольким ... ¹¹

homa152
Как изменить вывод custom по нескольким тегам?
27-10-2024, 23:33

Если вы готовы предложить какое-то решение для исправление проблемы 3685, отлично. Иначе к сожалению на последних версиях MySQL хак не рабочий, согласно вашему трактату.
homa152 | Как изменить вывод custom по нескольким ... ¹¹

homa152
Как изменить вывод custom по нескольким тегам?
27-10-2024, 23:20

Я буквально 2 часа назад столкнулся с проблемами при установке этого хака, проблема была именно в ошибке 3685, сайт не просто переставал работать, использовалась стандартная заглушка при критических ошибках MySQL исправить получилось методом описанным выше, для версия до 8 хак работает исправно, но выше, требуется доработка, так как синтаксис считается ошибочным, вы можете проверить самостоятельно.

В статье также указано, что важно использовать экранирование, собственно, что и указано в методе по исправлению ошибки.
Статья по решению проблемы
TeraMoune | Как изменить вывод custom по нескольким ... ¹¹

TeraMoune
Как изменить вывод custom по нескольким тегам?
27-10-2024, 22:32

Напротив нужно использовать [[:punct:]] вместо скобок, про это написано в документации на которую вы ссылаетесь. А \b означает границу слова и не способен правильно отображать результаты. Граница слова это когда выражение будет находить отдельные слова. Например новость имеет теги (Социальная сеть, Блокировка) и tags REGEXP '\\b(сеть)\\b' найдёт новость с тегом Социальная сеть, а так же Рыбацкая сеть и в принципе найдёт все новости где присутствует слово "Сеть" и будет много лишних результатов, а не только нужные.

В хаке как раз присутствует проверка на старую версию и новую mysql и в каждом случае используется тот вариант который является валидным для используемой версии.
homa152 | Как изменить вывод custom по нескольким ... ¹¹
homa152
Как изменить вывод custom по нескольким тегам?
27-10-2024, 21:30
Добавлю касаемо обновления архитектуры MySQL
При добавлении хака с версии MySQL 8.0, возможно появление ошибки: 3685. Неверный аргумент для регулярного выражения.

Можно пофиксить самостоятельно внеся корректировки в сам хак из панели админа.

Строку:
```
$tempArray[] = "tags REGEXP '[[:<:]](" . $value  . ")[[:>:]]'";
```
Заменить на:
```
$tempArray[] = "tags REGEXP '\\\\b(" . $value  . ")\\\\b'";
```
Согласно справочному руководству MySQL 8.0 / ... / Регулярные выражения, «MySQL поддерживает регулярные выражения с помощью международных компонентов для Unicode (ICU)».

То есть, вместо "[[:<:]] и [[:>:]]", нужно использовать: "\b"
vitnet | Есть ли возможность изменить язык сайта? ¹

vitnet
Есть ли возможность изменить язык сайта?
25-10-2024, 16:22

Ну как вариант можно использовать тег {lang text=***} подробнее

{lang text="LANG_PARAMETER"}

Данный тег предназначен для вывода информации из языкового файла website.tpl, который в данный момент используется, где LANG_PARAMETER это значение параметра, который необходимо вывести. Например, тег {lang text="attach_images"} выведет надпись “Прикрепить изображения” из языкового пакета, в случае использования русского языка и если используется английский язык, то “Attach Images”
vitnet | Есть готовый модуль рейтинга комментарие ... ¹
vitnet
Есть готовый модуль рейтинга комментариев?
25-10-2024, 13:12
Вариант 1 (вручную)

1.0 Открываете файл engine/modules/show.full.php находите в нем
```
$where_approve . " ORDER BY " . PREFIX . "_comments.id " . $comm_msort;
```
И меняете здесь id на rating
Пример:
```
$where_approve . " ORDER BY " . PREFIX . "_comments.rating " . $comm_msort;
```
2.0 Затем переходите в админку /admin.php?mod=options&action=syscon --> Настройки комментариев --> Порядок сортировки комментариев --> По убыванию

2.1 Далее --> Тип рейтинга комментариев выставляете "Нравится или Не нравится"

Готово!

Вариант 2 (плагин)
Для просмотра содержимого спойлера, перейдите к выбранному событию.

Graf | Как сделать аякс кнопку "загрузить еще"? ²

Graf
Как сделать аякс кнопку "загрузить еще"?
23-10-2024, 16:03

Вот рабочий пример со скрытие пагинатора и кнопки.
Полный код файла navigation.tpl

[not-available=userinfo]
<div class="nav-load" id="nav-load">[next-link]Загрузить еще[/next-link]</div>

<nav class="navigation"[available=lastcomments] style="padding: 4% 8%;"[/available]>
	<div class="page_next-prev">
		<span class="page_prev" title="Предыдущая страница">
			[prev-link]<svg class="icon icon-left"><use xlink:href="#icon-left"></use></svg>[/prev-link]
		</span>
		<span class="page_next" title="Следующая страница">
			[next-link]<svg class="icon icon-right"><use xlink:href="#icon-right"></use></svg>[/next-link]
		</span>
	</div>
	<ul class="pagination">
		{pages}
	</ul>
</nav>
<script type="text/javascript">
$(document).ready(function(){
    
         $('body').on('click','#nav-load a',function(){
        var urlNext = $(this).attr('href');
        var scrollNext = $(this).offset().top - 200;
        if (urlNext !== undefined) {
            $.ajax({
                url: urlNext,
                beforeSend: function() {
                    ShowLoading('');
                },            
                success: function(data) {
                    $('.navigation').remove();
                    $('#nav-load').remove();
                    $('#dle-content').append($('#dle-content', data).html());
                    $('#dle-content').after($('#bottom-nav'));
                    window.history.pushState("", "", urlNext);
                    $('html, body').animate({scrollTop:scrollNext}, 800);    
                    HideLoading('');
                },
                  error: function() {                
                    HideLoading('');
                    alert('что-то пошло не так');
                  }
            });
        };
        return false;
    });
    
});
</script>
[/not-available]

vitnet | Как перенести категории в DLE? ²

vitnet
Как перенести категории в DLE?
22-10-2024, 11:30

Для начала проверьте наличие файла /engine/cache/system/category.php и если он был до замены БД то удалите его а ещё лучше очистить кеш.

наверх

Googlebot не может получить доступ к файлам CSS и JS (robots.txt) ?

Ответа пока нет

12 комментариев

Похожие вопросы

Не отображаються страницы

navigation.tpl отказывается дружить!

Robots блокирует sitemap.xml, что делать?

Как разрешить GIF аватары в DLE?

Вывод смайлов не используя {editor}

Удаление новости автором

Top-News вставить код

Увеличение картинки по центру

Не загружается аватар ДЛЕ 9.7.

Как реализовать оповещения сообщений в яндекс браузере, как у вк?