Инженерный справочник · Индексация

Словарь технического SEO и матрица директив

Точные определения, таблица поведения поисковых директив и конкретные технические пороги для работы с Google, Яндексом и AI-поиском.

Матрица директив индексации и HTTP-кодов

Механизм Где задаётся Реакция поисковика Частая ошибка
Disallow: /path/ robots.txt Запрещает скачивание байтов URL Закрытие уже проиндексированных страниц оставляет их в выдаче без сниппета
X-Robots-Tag: noindex, follow HTTP-заголовок ответа Удаляет URL из выдачи, сохраняя передачу веса Одновременный запрет в robots.txt не даёт роботу считать директиву
rel="canonical" HTML <head> / HTTP Link Сигнал склейки дублей с основным URL Canonical с ?page=2..N на первую страницу скрывает глубокий каталог
Clean-param robots.txt (Яндекс) Отсекает метки и сортировки без потери веса страниц Отсутствие правил Clean-param при дублях с фильтрами в Яндексе
301 Moved Permanently Nginx / Edge CDN Постоянно переносит вес и индекс на новый адрес Цепочки из 3+ редиректов или использование 302 при переезде
410 Gone HTTP-ответ сервера Ускоряет удаление навсегда снятой страницы из индекса Ответ 200 OK с текстом «Страница не найдена» (Soft-404)

Краулинг и логи

Краулинговый бюджет

Совокупный лимит нагрузки на сервер и востребованности URL, определяющий сколько страниц Googlebot и YandexBot обойдут за сутки.

Правило инженерии: Доля валидных HTTP 200 на целевых страницах должна превышать 85% от заходов ботов.

Краулинг и логи

Анализ серверных логов (rDNS)

Разбор сырых access-логов Nginx или Cloudflare с верификацией IP ботов через обратный DNS для точного замера частоты сканирования.

Правило инженерии: Всегда отсеивайте поддельные User-Agent парсеров перед анализом бюджета.

Краулинг и логи

Протокол IndexNow

Открытый webhook-протокол (поддерживается Яндексом и Bing), мгновенно уведомляющий поисковики о новых, изменённых и удалённых URL.

Правило инженерии: Отправляйте пинг асинхронно при публикации в CMS, обновлении цен и редиректах.

JS и рендеринг

Двухволновая индексация JS (WRS)

Механизм Google: сначала парсится сырой HTML ответа сервера, затем с задержкой от часов до дней запускается рендер JavaScript в Chromium.

Правило инженерии: Отдавайте H1, текст, ссылки <a href>, canonical и JSON-LD в исходном HTML без ожидания JS.

JS и рендеринг

Паритет SSR / SSG / ISR

Серверный рендеринг и статическая генерация HTML на сервере или Edge, исключающие пустые заглушки при первом запросе поисковика.

Правило инженерии: Регулярно сравнивайте curl-ответ с отрендеренным DOM на полноту контента и ссылок.

JS и рендеринг

Core Web Vitals (LCP, INP, CLS)

Полевые метрики скорости из отчёта CrUX: загрузка главного элемента (LCP <= 2.5с), отзывчивость (INP <= 200мс) и стабильность сдвига (CLS <= 0.1).

Правило инженерии: Ориентируйтесь на 75-й перцентиль реальных мобильных пользователей в CrUX.

URL и структура

Раздувание индекса фильтрами

Неконтролируемая генерация десятков тысяч URL из комбинаций фильтров и сортировок, вымывающая вес из основных категорий.

Правило инженерии: Спрос-проверенные пересечения переводите на статические ЧПУ; остальные закрывайте.

URL и структура

Взаимный граф Hreflang

Двусторонние ссылки alternate между языковыми и региональными версиями (/en/, /ru/, /es/, /de/) с обязательным self-тегом и x-default.

Правило инженерии: Каждая версия в кластере должна взаимно ссылаться на все остальные канонические HTTP 200 URL.

URL и структура

Гейты качества Programmatic SEO

Автоматические пороги полноты данных на сервере, разрешающие индексацию шаблонной страницы только при достаточном числе уникальных объектов.

Правило инженерии: Открывайте index только при >= 3 активных карточках и > 45% уникальных данных.

URL и структура

Силосная перелинковка и PageRank

Иерархическая сетка ссылок, передающая статический вес из информационных хабов на коммерческие разделы на глубине не более 3 кликов.

Правило инженерии: Любая приоритетная страница услуг или каталога должна быть доступна в <= 3 кликах от главной.

Schema и доверие

Связанный JSON-LD @graph

Объединение сущностей WebSite, Organization, Service, TechArticle, Person и FAQPage в единый семантический граф через постоянные идентификаторы @id.

Правило инженерии: Связывайте объекты через @id вместо разрозненных несвязанных блоков скриптов.

Schema и доверие

GEO и индекс /llms.txt

Оптимизация под AI-поисковики (Perplexity, ChatGPT Search, Алиса/Нейро) с машиночитаемой картой /llms.txt и чистыми таблицами фактов.

Правило инженерии: Публикуйте структурированные таблицы сравнений и актуальный /llms.txt на домене.

Schema и доверие

YMYL и проверяемый E-E-A-T

Факторы опыта, экспертности, авторитетности и доверия, критически важные для финансов, медицины и права в Google и асессорских оценках.

Правило инженерии: Подключайте реальные страницы авторов, reviewedBy в Schema и ссылки на законы.

Schema и доверие

NAP и LocalBusiness Schema

Полное совпадение названия, адреса, телефона, координат и URL филиала на сайте и в профилях Яндекс Бизнеса и Google Карт.

Правило инженерии: Каждая точка на картах должна ссылаться на свою отдельную посадочную /locations/<city>/.

Schema и доверие

AEO и Answer-First (GEO-граундинг)

Проектирование разделов по формату «прямой факт за 40–60 слов» с HTML-таблицами и цифрами, чтобы Google AI Overviews, ChatGPT Search и Яндекс Нейро точно цитировали бренд.

Правило инженерии: Размещайте емкий вывод сразу под H2 и синхронизируйте цены и характеристики с JSON-LD.

Краулинг и логи

Content Pruning и чистка под Core Updates

Системная консолидация слабых, дублирующихся и бестрафиковых страниц (301/410) для восстановления общей оценки полезности домена в Google и Яндексе.

Правило инженерии: Объединяйте каннибализирующие статьи в один хаб или отдавайте HTTP 410 для устаревших URL без ссылок.

JS и рендеринг

Островная архитектура и селективная гидратация

Генерация чистого статического HTML для контента и SEO-блоков с отложенной JS-гидратацией только интерактивных калькуляторов, фильтров и форм.

Правило инженерии: Основной текст, ссылки и разметка Schema должны присутствовать в первичном SSR-документе без ожидания JS.

URL и структура

BOFU-кластеры коммерческого спроса

Посадочные страницы под горячие запросы («сравнение», «стоимость», «под ключ», «производитель/интеграция»), напрямую конвертирующие органику в B2B-лиды.

Правило инженерии: Разводите информационные статьи и коммерческие BOFU-страницы по интенту и связывайте их сквозными CTA.

URL и структура

Hreflang x-default и матрица подпапок

Взаимная разметка языковых и региональных версий (ru-RU, en-GB, de-CH) с резервным x-default для масштабирования на международные рынки.

Правило инженерии: Поддерживайте 100% взаимность тегов с кодом ответа 200 OK на всех связанных языковых URL.

Schema и доверие

Entity Co-Citation и цифровой PR

Редакционные упоминания бренда рядом с целевыми темами и профильные ссылки, усиливающие одновременно авторитет домена и цитируемость в LLM.

Правило инженерии: Связывайте упоминания в СМИ, профили экспертов и внешние каталоги через Organization sameAs.