Краулинговый бюджет в 2026 году: когда его действительно нужно оптимизировать

02

Кому действительно стоит об этом думать

Google адресует отдельное руководство прежде всего крупным сайтам: ресурсам с миллионом и более часто обновляемых страниц, примерно десятью тысячами быстро меняющихся URL или значительной долей адресов в статусе «Обнаружено, но не проиндексировано». Это ориентиры, а не жесткий порог, но они помогают не драматизировать ситуацию небольшого корпоративного сайта.

Если у проекта сто услуг и статей, все важные URL регулярно обходятся, а новые страницы появляются в поиске, отдельный проект по crawl budget обычно не нужен. Полезнее улучшить содержание, внутренние ссылки и коммерческие блоки. Если же каталог генерирует миллионы комбинаций, без управления обходом технический шум будет расти быстрее полезного раздела.

03

Как измерить проблему

Начните со статистики сканирования Search Console и серверных логов. Посмотрите общее число запросов, среднее время ответа, долю 5xx, типы файлов и разделы, которые посещает робот. Затем сопоставьте это с sitemap и списком бизнес-критичных URL. Вопрос не в том, много ли сканирований, а в том, попадают ли в них нужные страницы вовремя.

Сегментируйте данные по шаблонам: категории, товары, статьи, фильтры, поиск, параметры и служебные разделы. Для каждого сравните количество известных URL, посещения робота и долю индексируемых страниц. Так становится видно, где робот тратит запросы на бесконечные варианты и где полезный раздел остается без внимания.

04

Что улучшить на сервере

Стабильный быстрый ответ позволяет роботу обходить больше страниц без риска перегрузки. Исправьте 5xx и 429, проверьте медленные шаблоны, настройте кэширование и одинаковые URL для общих ресурсов. Если JavaScript и изображения на каждой странице запрашиваются по новым адресам, робот не сможет эффективно использовать кэш.

Не пытайтесь регулировать частоту запретами 401 или 403. При аварии корректно сообщайте о временной недоступности, а затем устраняйте причину. По мере восстановления 2xx-ответов Google постепенно увеличивает интенсивность обхода. Постоянная нестабильность уменьшает ее и угрожает актуальности уже известных страниц.

05

Как убрать бесполезные URL

Главный резерв крупных каталогов — фасетная навигация, сортировки, внутренний поиск, сессии, календари и параметры. Составьте матрицу: какие комбинации имеют спрос и самостоятельную посадочную, какие канонизируются, какие не получают ссылок, а какие вообще не должны генерироваться. Один robots.txt не исправляет архитектуру, если сайт продолжает создавать и связывать миллионы адресов.

Удаленные страницы должны отдавать 404 или 410, перемещенные — вести постоянным редиректом к ясной замене. Sitemap содержит только канонические 200-страницы, нужные в поиске. Внутренние ссылки также ведут сразу на эти версии. Согласованность сигналов сокращает количество лишних обходов.

06

Как повысить приоритет важного

Обновляйте lastmod только при существенном изменении, поддерживайте понятную архитектуру и связывайте новые страницы из уже известных разделов. Для быстро меняющихся товаров приоритетны актуальная цена, наличие и категория; для статей — реальные обновления, а не механическая смена даты. Робот должен видеть, где действительно появилась новая информация.

После внедрения сравните периоды по доле обхода ценных URL, времени обнаружения новых страниц, серверным ошибкам и попаданию в индекс. Успех — не рекордное число запросов робота, а более быстрое обновление страниц, которые влияют на продажи и заявки.

Практика

Что проверить на своем сайте

1. Определите масштаб и скорость обновления сайта.
2. Выгрузите статистику сканирования и серверные логи.
3. Сегментируйте обход по типам URL.
4. Исправьте 5xx, 429 и медленные шаблоны.
5. Ограничьте бесконечные фильтры и параметры.
6. Сравните скорость обхода и индексации важных страниц.