Бывают случаи, когда сервер перегружен и поисковой робот просто не может проиндексировать содержимое сайт из-за того, что сервер просто напросто не может обрабатывать его запрос. В таких случаях разумно будет воспользоваться специальной директивой "Crawl-delay", которая позволяет задавать поисковым роботам минимальный период времени между сканированием одной страницы. Данная директива прописывается в robots.txt. Период времени задается в секундах.
Кстати, поисковой робот Яндекса имеет поддержку дробных значений директивы "Crawl-delay". То есть можно задать значение, например 0.5, но это не будет гарантией, что поисковой робот Яндекса будет сканировать ваш сайт каждые 0.5 секунды. Но, тем не менее, это значительно ускоряет обход сайта. Если директива не задана, то задается значение по умолчанию в 1-2 секунды. Если же задан слишком большой интервал, то это может значительно замедлить индексацию сайта.
Надо заметить, что не все роботы обрабатывают robots.txt согласно действующему стандарту. Поэтому в целях совместимости директиву "Crawl-delay" рекомендуется добавлять в группе, которая начинается с "User-Agent" и непосредственно после групп директив "Disallow" и "Allow ".

• admin's blog
• 3718 просмотра