Анализ серверных логов: реальное поведение Googlebot и YandexBot
Краулер показывает, куда робот мог бы зайти; сырые access-логи Nginx и Cloudflare показывают, на что поисковики тратят бюджет прямо сейчас.
Дмитрий К., Technical SEO Lead · SEO Space
1. Проверка подлинности ботов и отсев парсеров
До 35% запросов с User-Agent Googlebot или YandexBot исходят от скраперов. Перед подсчётом частоты сканирования обязательно проверяйте IP-адреса через обратный DNS или официальные списки подсетей.
Сырые логи обращений Nginx и CDN показывают реальную картину обхода в день релиза: всплески 5xx, бесконечные циклы редиректов и частоту заходов поисковых и ИИ-ботов за недели до отчётов вебмастера.
awk '$9 ~ /^(301|302|404|500|503)$/ && $12 ~ /Googlebot|YandexBot/ {print $7, $9}' access.log | sort | uniq -c | sort -nr | head -n 30 2. Сопоставление логов с Sitemap и денежными страницами
Объедините выгрузку логов с матрицей приоритетных страниц. Если боты ежедневно бьются в цепочки 301 или параметрические дубли, обновления цен и новых разделов попадают в индекс с недельной задержкой.
3. Ежедневные алерты по логам на всплески 5xx и падение краулинга
Настройте выгрузку логов Edge CDN или Nginx в аналитическое хранилище для отслеживания доли HTTP 200, задержки p95 для `Googlebot` и внезапных блокировок 403.
| Аномалия в логах | Вероятная причина | Быстрое исправление |
|---|---|---|
| Рост 403 на ботов | Жёсткое правило WAF / Cloudflare | Allowlist подтверждённых ASN + rDNS |
| 30%+ хитов на ?sort= / ?page= | Открытые мусорные ссылки в DOM | Disallow в robots.txt / перенос в JS |
| p95 ответа > 800мс | Медленный SSR без кэша | Включить Edge HTML-кэш / ISR |
- Проверяйте подлинность ботов по rDNS перед внесением в белые списки.
- Вычищайте внутренние ссылки на URL со статусами 301/404, тратящие бюджет.
- Сравнивайте активность Googlebot и OAI-SearchBot по ключевым разделам.
Нужно проверить индексацию вашего проекта?
Пришлите домен: вручную проверим исходный HTML, логи обхода, дубли фильтров, canonical и карту сайта в течение 24 часов.