Директива Crawl-delay
Бывают случаи, когда сервер перегружен и поисковой робот просто не может проиндексировать содержимое сайт из-за того, что сервер просто напросто не может обрабатывать его запрос. В таких случаях разумно будет воспользоваться специальной директивой "Crawl-delay", которая позволяет задавать поисковым роботам минимальный период времени между сканированием одной страницы. Данная директива прописывается в robots.txt. Период времени задается в секундах.
Кстати, поисковой робот Яндекса имеет поддержку дробных значений директивы "Crawl-delay". То есть можно задать значение, например 0.5, но это не будет гарантией, что поисковой робот Яндекса будет сканировать ваш сайт каждые 0.5 секунды. Но, тем не менее, это значительно ускоряет обход сайта. Если директива не задана, то задается значение по умолчанию в 1-2 секунды. Если же задан слишком большой интервал, то это может значительно замедлить индексацию сайта.
Надо заметить, что не все роботы обрабатывают robots.txt согласно действующему стандарту. Поэтому в целях совместимости директиву "Crawl-delay" рекомендуется добавлять в группе, которая начинается с "User-Agent" и непосредственно после групп директив "Disallow" и "Allow ".
- admin's blog
- 3718 просмотра
Каталог программ
- CRM для интернет-магазина (1)
- SMM (1)
- Анализ поисковиков (29)
- Анализ сайта (66)
- Базы для Allsubmitter (2)
- Базы каталогов (1)
- Базы ключевых слов (13)
- Базы синонимов (1)
- Баннерные сети (1)
- Биржи блогов (6)
- Биржи вечных ссылок (7)
- Биржи ссылок (23)
- Биржи статей (21)
- Генераторы дорвеев (2)
- Генераторы сателлитов (13)
- Генераторы текста (22)
- Генераторы форумов (3)
- Грабберы контента (3)
- Монетизация (3)
- Мониторинг seo (7)
- Парсеры (15)
- Полезное для сайта (5)
- Покупка трафика (4)
- Проверка текста на уникальность (12)
- Продвижение в SMO (5)
- Продвижение сайта (10)
- Работа с ссылками (13)
- Работа с текстом (контентом) (17)
- Размещение контента (19)
- Регистрация в социальных сервисах (SMO) (23)
- Регистраторы (14)
- Регистрация в каталогах (23)
- Синонимайзеры (9)
- Системы продвижения сайта (7)
- CMS для SEO (движки сайтов) (19)
- Seo-Тулбары (seo toolbars) (6)
- Увеличение ТиЦ и Pr (1)
- Избранное (5)