Задать вопрос
Не нравятся результаты поиска? Попробуйте другой поиск!
DLE FAQ » Все вопросы » Общие вопросы » настройка Robots.txt от нагрузки поисковых ботов

настройка Robots.txt от нагрузки поисковых ботов

     02.04.2013    Все вопросы » Общие вопросы    4251

вопрос
Всем привет у меня возникла проблема на сайте ,время от времени на базу сайта идет нагрузка ,бывает что даже отключаеться хостинг ,смысл в том что у моего сайта больше 36 тыщ страниц и база больше гига ,и поисковые боты наваливаються на сайт одновременно и происходит перегрузка ,в основном звереет msnbot кто знает как правельно настроить Robots.txt что бы индексация шла нормально и нагрузка несильная на сайт.
В данный момент я прописал задержку Crawl-delay: 10 как вы щитаете для поисковых систем 10 это нормально а то я читал что для гугл не меньше 5 надо

Ответа пока нет

 
Чтобы комментировать - войдите или зарегистрируйтесь на сайте

Похожие вопросы

 04.03.2012 didfree  Общие вопросы
 03.03.2013 Kane  Общие вопросы
 06.03.2013 javer  Общие вопросы
 24.09.2013 vlits  Общие вопросы
 03.10.2013 vlits  Общие вопросы
 14.01.2014 KAPTMEH  Общие вопросы
 02.04.2014 blackmore  Общие вопросы
 09.04.2014 sanioklzd  Общие вопросы
 19.02.2015 Олег_Криворучко  Общие вопросы
 08.05.2015 Lynat1k  Общие вопросы
  • web102 | URL как сделать что бы только ID был без ...
    Фото web102
    web102
    URL как сделать что бы только ID был без -text.html?
    16-11-2024, 09:04
    Попробуйте так
  • iodjin | Как реализовать авторизация через vk? 9
    Фото iodjin
    iodjin
    Как реализовать авторизация через vk?
    10-11-2024, 11:38
    upd.
    в доверенный Redirect URL просто добавил адрес сайта/index.php
    все работает
  • iodjin | Авторизация через вк 13
    Фото iodjin
    iodjin
    Авторизация через вк
    10-11-2024, 11:37
    в доверенный Redirect URL просто добавил адрес сайта/index.php
    все работает
  • iodjin | Авторизация через вк 13
    Фото iodjin
    iodjin
    Авторизация через вк
    10-11-2024, 11:27
    тоже самое. пустым уже не оставишь поле. что делать?
  • iodjin | Как реализовать авторизация через vk? 9
    Фото iodjin
    iodjin
    Как реализовать авторизация через vk?
    10-11-2024, 11:21
    к сожалению, и так не пашет. на шаге, когда "Убираем доверенный Redirect URL и сохраняем" - уже не дает сохранить, потому что пишет, что не может быть это поле пустым

    как решить проблему?
  • LMakc | Есть ли возможность изменить язык сайта? 3
    Фото LMakc
    LMakc
    Есть ли возможность изменить язык сайта?
    9-11-2024, 21:58
    Модуль Multi-Language 4.9 для DLE
  • Hander | Есть ли возможность изменить язык сайта? 3
    Фото Hander
    Hander
    Есть ли возможность изменить язык сайта?
    9-11-2024, 13:25
    у меня есть эта разработка, работает так же как в админке, весь сайт можно перевести на любые языки с помощью языковых файлов, выбор языка хранится в куках пользователя, готов поделиться за 50$
  • Hander | Как заставить работать переменную $mem ...
    Фото Hander
    Hander
    Как заставить работать переменную $member_id['user_id'] == $row['user_id'] в категории?
    9-11-2024, 08:37 
    $member_id['user_group'] == 1

    проверяет на группу, в данном случае группа 1 - администраторы
    уберите эту проверку 
     if ($is_logged AND $member_id['user_id'] == $row['user_id'] ) {
    и будет вам счастье
  • Hander | Как прибавить к дате редактирования 7 дн ...
    Фото Hander
    Hander
    Как прибавить к дате редактирования 7 дней?
    9-11-2024, 08:29
    В engine\modules\show.full.php находим 
    $related['date'] = strtotime( $related['date'] );
    и меняем на 
    $related['date'] = strtotime("+7 days", $related['date']);
  • ettochno | Telegram Sender 15
    Фото ettochno
    ettochno
    Telegram Sender
    7-11-2024, 16:53
    Хороший плагин, легкий и делает все необходимое. Разработчик отзывчивый, сам помог настроить и установить.
наверх