Не нравятся результаты поиска? Попробуйте другой поиск!
dle-faq.ru FAQ (все вопросы) Общие вопросы настройка Robots.txt от нагрузки поисковых ботов

настройка Robots.txt от нагрузки поисковых ботов


     02.04.2013    Общие вопросы    2664

вопрос
Всем привет у меня возникла проблема на сайте ,время от времени на базу сайта идет нагрузка ,бывает что даже отключаеться хостинг ,смысл в том что у моего сайта больше 36 тыщ страниц и база больше гига ,и поисковые боты наваливаються на сайт одновременно и происходит перегрузка ,в основном звереет msnbot кто знает как правельно настроить Robots.txt что бы индексация шла нормально и нагрузка несильная на сайт.
В данный момент я прописал задержку Crawl-delay: 10 как вы щитаете для поисковых систем 10 это нормально а то я читал что для гугл не меньше 5 надо

Ответа пока нет


Чтобы комментировать - войдите или зарегистрируйтесь на сайте

Похожие вопросы