Бесплатная проверка

Проверить robots.txt сайта

Команда NEXFORCE·SEO-специалистыОпубликовано 9 августа 2026 г.Проверено 13 августа 2026 г.

robots.txt — первый файл, который читает робот. Одна лишняя строка в нём убирает из поиска весь сайт, и происходит это тихо: страницы остаются доступными людям, отдают код 200 и просто перестают появляться в выдаче.

Что проверяем

Что именно смотрит проверка

—Есть ли robots.txt и отдаётся ли он кодом 200
—Нет ли запрета на весь сайт — самая дорогая ошибка из возможных
—Что закрыто и нет ли среди этого нужных разделов
—Указан ли адрес карты сайта
—Метатег robots и заголовок X-Robots-Tag на страницах: нет ли noindex там, где он не нужен
—Не противоречат ли друг другу robots.txt, метатег и canonical

Зачем

Почему это влияет на поиск

Закрытая по ошибке страница не сообщает об этом

Ни в браузере, ни в отчётах по трафику это не видно: страница открывается, ссылки работают, просто из поиска она исчезает. Обычно такое находят через месяцы и по косвенным признакам — по провалу трафика в разделе.

Запрет в robots.txt и noindex — разные вещи

Запрет в robots.txt не пускает робота на страницу, поэтому он не может прочитать стоящий на ней noindex. Адрес при этом остаётся известным по ссылкам и иногда попадает в выдачу без описания. Чтобы убрать страницу из поиска, нужен именно noindex при открытом доступе.

Служебные разделы стоит закрывать не только ради индексации

Поиск по сайту, корзина, личный кабинет и страницы фильтров плодят бесконечные адреса. Они не попадут в выдачу и без запрета, но потратят обход, которого не хватит настоящим страницам. У нас это видно на цифрах: девять десятых дневного обхода однажды ушло в раздел, который поиск всё равно не берёт.

Проверка

Введите адрес — покажем за 30 секунд

Без регистрации. Проверка идёт по этой странице сайта и заодно показывает остальные заметные ошибки, если они есть.

Из практики

Что обычно находим по этой проверке

Запрет на весь сайт, приехавший с тестового сервера

Самая дорогая строка из возможных. На тесте она стояла по делу, при переносе про неё забыли, и сайт месяцами не появляется в выдаче при полностью рабочем содержимом.

Страница закрыта в robots.txt и помечена noindex

Взаимоисключающая пара: робота не пускают на страницу, поэтому прочитать noindex он не может. Адрес остаётся в выдаче без описания.

Карта сайта в robots.txt не указана

Мелочь, которая стоит времени: карту приходится добавлять руками в каждую панель вебмастера, а при смене адреса — вспоминать об этом снова.

Что делать дальше

Как чинить то, что нашлось

Проверять после каждого переноса сайта

Запрет на весь сайт чаще всего приезжает с тестового сервера: там он стоит по делу, а при переносе про него забывают. Это первое, что стоит смотреть после запуска новой версии.

Закрывать точечно, а не разделами

Широкий запрет вида «всё, что содержит параметр» однажды закроет нужное. Лучше перечислить конкретные служебные пути и не трогать остальное.

Сверять три источника разом

robots.txt, метатег robots и canonical должны говорить одно и то же. Противоречие между ними — частая причина, по которой страница месяцами не заходит в поиск при полностью здоровом содержимом.

Если чинить некому или непонятно, с чего начинать, — это и есть наша работа: SEO-продвижение сайта, а сколько это стоит — на странице стоимость продвижения.

FAQ

Вопросы про robots.txt

Для тестовой версии — запретом в robots.txt и обязательно закрытием доступа паролем: robots.txt носит рекомендательный характер и не защищает от чужих глаз. Для отдельной страницы боевого сайта — метатегом noindex при открытом доступе для робота, иначе он не сможет его прочитать.

Обычно да, но не всегда: если по сочетанию фильтров есть настоящий спрос, такая страница может быть полезной и её лучше открыть и уникализировать. Правило простое — открываем то, что отвечает на реальный запрос, закрываем то, что плодит одинаковые адреса.

Потому что запрет в robots.txt закрывает обход, а не индексацию. Если на страницу ссылаются, поисковая система может показать её адрес без описания — прочитать содержимое и увидеть запрет она не имеет права. Убирается это открытием доступа и метатегом noindex.

Ещё проверки