Краткий вывод
Что важно понять до чтения деталей
- Robots.txt управляет обходом, а не гарантирует удаление из поиска.
- Правила строят от типов URL конкретного сайта.
- Изменения проверяют по важным страницам и статистике обхода.
- Noindex должен быть доступен роботу для чтения.
01
Что делает robots.txt и где проходит его граница
Robots.txt расположен в корне хоста и сообщает роботам, какие URL разрешено или запрещено запрашивать. Его основная задача - управление обходом, а не гарантированное удаление страницы из поиска. Google прямо указывает: запрет обхода не является надежным способом скрыть URL, потому что адрес может быть найден по внешним или внутренним ссылкам без чтения содержимого.
Если страницу нужно исключить из поиска, обычно используют meta robots с noindex, X-Robots-Tag для не-HTML-файлов, авторизацию или корректный код ответа. Но noindex должен быть доступен роботу: если одновременно закрыть URL в robots.txt, поисковик может не увидеть директиву на самой странице.
02
Как собрать правила от структуры сайта
Начинайте не с чужого шаблона, а со списка типов URL. Отдельно выпишите услуги, категории, карточки, статьи, пагинацию, фильтры, поиск, корзину, кабинет, системные каталоги и параметры. Для каждой группы решите, нужна ли она пользователю из поиска и имеет ли самостоятельное содержание.
После этого правила становятся понятными: важные страницы оставляем доступными, служебные разделы ограничиваем, а параметры оцениваем вместе с canonical, внутренними ссылками и настройками CMS. Универсальный запрет всех URL со знаком вопроса может случайно закрыть нужные варианты страниц, поэтому такие решения принимают только после просмотра реальных адресов.
03
Типовые ошибки, из-за которых сайт теряет обход
Самая опасная ошибка - общий Disallow для всего сайта, оставшийся после разработки. Часто встречаются запреты каталогов, в которых лежат CSS, JavaScript или изображения, нужные для корректного рендеринга. Еще одна проблема - конфликт правил для разных роботов, когда общий блок разрешает страницу, а отдельный блок для поисковой системы запрещает ее.
Отдельно проверяйте синтаксис, регистр путей, завершающие слеши и фактические URL. Файл должен открываться по адресу /robots.txt с кодом 200 и обычным текстом. Строку Sitemap полезно указывать абсолютным адресом, но она не заменяет добавление карты сайта в кабинеты вебмастеров.
04
Как проверить файл до и после публикации
До изменения сохраните текущую версию и выгрузите список индексируемых страниц. Затем проверьте несколько представителей каждой группы URL: главную, услугу, статью, категорию, карточку, фильтр и служебную страницу. Важно тестировать не только запреты, но и те адреса, которые обязаны оставаться открытыми.
После публикации следите за статистикой обхода и отчетами об индексировании. Если число доступных важных URL резко изменилось, не ждите потери позиций: сравните правила, коды ответа, meta robots и canonical. Изменение robots.txt должно сопровождаться наблюдением, а не завершаться загрузкой файла на сервер.
05
Как связать robots.txt с остальным техническим SEO
Robots.txt не исправляет дубли, не выбирает главную версию страницы и не делает слабый URL полезным. Для дублей нужны единая структура адресов, редиректы, canonical и последовательные внутренние ссылки. Для исключения страницы из поиска нужен понятный сценарий удаления, а для индексации - доступность, содержание и связи с другими разделами.
Поэтому файл проверяют в составе технического аудита. Хороший результат - не максимально длинный robots.txt, а предсказуемая карта обхода: робот видит все ценные страницы, не застревает в техническом мусоре, а команда понимает назначение каждого правила.
Практика
Что проверить на своем сайте
- Откройте /robots.txt и проверьте код 200.
- Проверьте главную, услуги, статьи и категории.
- Найдите запреты CSS, JavaScript и изображений.
- Сравните robots.txt с meta robots и canonical.
- Укажите абсолютный адрес sitemap.
- После изменения проверьте статистику обхода.
Применить к проекту
Что можно сделать после статьи
Если тема похожа на вашу ситуацию, следующий шаг простой: проверить сайт на спрос, структуру, технические ограничения и точки, где пользователь не доходит до заявки.
Источники
Какие источники использовали
Официальное объяснение назначения robots.txt и его ограничений.
Google Search Central: robots meta и X-Robots-TagПравила управления индексированием и показом контента.
Яндекс Вебмастер: анализ индексации страницыПроверка доступности URL для робота Яндекса.
Яндекс Вебмастер: как работает поискОфициальное описание обхода, индексирования и участия страниц в поиске Яндекса.
