«Страница не проиндексирована» — не диагноз, а общее место для нескольких причин. Мы разобрали события индексации своего сайта и посчитали, что стоит за этой фразой.
Сначала различить три случая
Выглядят одинаково — страницы нет в поиске, — а означают разное.
- Робот до неё не дошёл. Адреса нет в карте сайта, ссылок на него тоже, обхода не было.
- Дошёл, скачал и не взял. Страница прочитана, в выдачу не попала.
- Взял, а потом убрал. Страница была в поиске и вышла оттуда.
Первый виден в разделе обхода, второй и третий — в «Страницах в поиске». Путать дорого: в первом надо помочь роботу найти адрес, в остальных — сначала понять причину.
Замер: 600 событий
Взяли историю событий поиска по своему сайту. Из 600 событий 369 — «страница появилась», 231 — «страница убрана». У каждого снятия панель называет причину:
| Причина снятия | Сколько раз |
|---|---|
| Малоценная или маловостребованная | 211 |
| Запрещена к индексированию | 15 |
| Не канонический адрес | 2 |
| Не найдена | 1 |
| Ошибка HTTP | 1 |
| Неиндексируемый редирект | 1 |
Девять снятий из десяти — одна причина. Технические вместе дали двадцать случаев из двухсот тридцати одного.
Что означает каждая
Малоценная или маловостребованная. Поиск прочитал страницу и решил, что показывать незачем: спроса нет либо содержимое ничего не добавляет к уже найденному. Не ошибка и не запрет — оценка. Разбор этого статуса у нас отдельный: там видно, какие страницы снимают, а какие остаются, и помогает ли переобход.
Запрещена к индексированию. Запрет стоит в robots.txt, метатеге или заголовке ответа. Четыре места, где живёт запрет, мы разбирали отдельно: половина найденных там запретов стояла случайно.
Не канонический адрес. Подпись canonical ведёт на другой адрес, поиск показывает тот. Так вышли из поиска наши /404/ и /search/ — ровно как задумано.
Не найдена. Ответ 404 на адрес, который раньше отдавался. Один случай: страница не открылась при обходе.
Ошибка HTTP. Сервер ответил кодом ошибки. Тоже один случай.
Неиндексируемый редирект. Адрес переадресует туда, что в поиск не идёт. Один случай, старая страница кейса.
Главный вывод замера
Список причин длинный, а на молодом сайте почти все снятия — «малоценная». Значит, чинить надо не технику.
Технику проверить всё равно стоит: исправления там быстрые и однозначные. Но если запреты в порядке, а страницы не держатся, дело в спросе и в отличии от уже найденного. Это лечится содержанием и временем, а не настройками.
У нас 42 страницы робот прочитал и не взял, и причина оказалась не в дублях и не в объёме, а в возрасте: часть вернулась в поиск сама через сорок дней.
Чего статус не говорит
Когда вернётся. Срока нет ни в одном статусе. Переобход ускоряет проверку, а не решение.
Что не так с содержанием. «Малоценная» — вердикт без объяснения. Сравнивать приходится самому: со своими оставшимися страницами и с теми, что стоят в выдаче.
Сколько страниц всего. Счётчик страниц в поиске и список событий — разные числа: события накапливаются, счётчик показывает срез на день.
Границы замера
Сайт один, молодой, с преобладанием статей. У магазина или у сайта с давней историей распределение будет другим: больше технических причин, меньше оценочных.
Статусы взяты из панели Яндекса. В Search Console свои формулировки и своя логика; разбор её отчётов отдельный, и сходятся два источника не всегда.
Коротко
«Не проиндексирована» — три разных случая: робот не дошёл, не взял или убрал. В наших 600 событиях снятий 231, из них 211 — «малоценная или маловостребованная», то есть оценка содержания, а не поломка. Технические причины дали двадцать случаев. Два статуса, «не канонический» и «неиндексируемый редирект», означают правильную работу сайта.