Перейти к содержимому
SEO/Опубликовано 3 сентября 2026 г./Обновлено 22 сентября 2026 г./5 мин

42 страницы, которые робот прочитал и не взял в поиск

Что такое индексация простыми словами и почему «страница есть, а в поиске нет» — нормальное состояние. Наш провал: 42 страницы переписали до 92% своего текста, робот их скачал, а за пять дней в поиск не вошла ни одна.

42 страницы, которые робот прочитал и не взял в поиск
N
Команда NEXFORCE
Кто пишет блог

Индексация — это, простыми словами, укладка вашей страницы в базу поисковика. Звучит как выключатель: есть страница — есть в поиске. На деле это три разных шага, между которыми проходят дни и недели:

  1. Обход. Робот пришёл и скачал страницу. Это видно в Вебмастере.
  2. Индексация. Он решил, стоит ли класть её в базу.
  3. Показ. Страница появилась в выдаче по какому-то запросу.

Первое не гарантирует второго, второе — третьего. Мы проверили это на себе, причём дорого. Ниже разбор собственного провала со всеми цифрами, включая нелестные.

Что мы построили

У нас семь услуг и шесть ниш: онлайн-торговля, медицина, юристы, недвижимость, строительство и ИТ. Семь на шесть — сорок два разворота «услуга для ниши». Каждый отвечает на свой вопрос: чем продвижение медицинского центра отличается от продвижения интернет-магазина.

Сначала мы закрыли их от индексации: по форме это матрица, а матрица похожа на дорвеи. К тому моменту двадцать два адреса из сорока двух уже успели побывать в поиске и выйти оттуда — но об этом мы узнали только в сентябре, разбор в конце статьи. Потом измерили. Пересечение текста у одной услуги в разных нишах — 13–18%, внутри одной ниши между услугами совпадают три предложения из тридцати трёх. Прежняя оценка «60–65% дублей» оказалась артефактом: считали вместе с шапкой и подвалом, то есть меряли обвязку сайта, а не текст.

Тогда мы переписали содержание, довели долю собственного текста до 92%, получили 0 замечаний из 42 от внутреннего шлюза качества и 7 августа 2026 года открыли всю матрицу для индексации.

Робот пришёл и всё прочитал

Дальше самое важное — здесь обычно и ошибаются. Робот матрицу не пропустил, а забрал в первую очередь:

ДатаСкачано роботомИз них наша матрица
7 августа5146
8 августа—6
9 августа—11

Девяносто процентов дневного внимания робота ушло сюда. Он прочитал их целиком. Технических причин не осталось: ни закрытого robots.txt, ни медленной отдачи, ни ошибок ответа — это мы проверили первым делом, и всё было чисто.

А в поиск за пять дней не вошла ни одна. Ноль из сорока двух.

Для сравнения — в те же дни двенадцать терминов нашего словаря, опубликованных 11 августа, оказались в поиске 12-го. Один сайт, один робот, одни сутки на всё. Конвейер был здоров, отдельно стояла именно матрица.

12 августа мы закрыли все сорок две обратно в noindex, а содержание подняли в родительские разделы ниш вроде продвижения сайтов автосервисов, которые индексируются нормально. Причина не «текст плохой», а арифметика обхода: робот тратил день на то, что не берёт, пока мы возвращали в поиск кейсы и услуги.

В чём мы ошиблись: первое

21 августа две из сорока двух вошли в поиск Яндекса. Через девять дней после того, как мы их закрыли. По скачиванию от 10 августа — вердикт вынесли по версии, которую робот забрал ещё в открытом окне, и он просто ехал две недели.

Это /services/seo-promotion/construction/ и /services/seo-promotion/ecommerce/. Проверено 3 сентября 2026 года: обе по-прежнему в выдаче, хотя запрет индексации стоит на них почти месяц. Мы вынесли приговор на пятый день, ответ пришёл на четырнадцатый.

Отсюда правило. Пустой результат через пять дней означает ровно одно: прошло пять дней. Наши замеры дают двое суток типичным сроком для здоровой публикации — это срок «как быстро бывает», а не срок для приговора.

В чём мы ошиблись: второе, и оно хуже

Мы мерили одним поисковиком. Все выводы выше — про Яндекс. А в Google матрица работала всё это время.

За 5 июня — 1 сентября 2026 года показы в Google получили 13 адресов из 42: 184 показа и один клик. По датам:

ПериодАдресов с показамиПоказовКликов
до закрытия, 5 июня — 11 августа121271
после закрытия, 12 августа — 1 сентября5570

Вторая строка поучительна сама по себе: запрет индексации не срабатывает мгновенно. Google показывал закрытые адреса ещё три недели — до переобхода он о запрете не знает.

Позиции честные: в среднем 60–90 место, настоящего трафика мы не получали нигде. Но фраза «не вошла ни одна» была верна для одной поисковой системы и для пяти дней. Мы записали её как факт про сайт, а получился факт про наш способ смотреть.

Сорок дней спустя: чем это кончилось

Всё, что ниже, проверено 19 сентября 2026 года — через сорок дней после того, как матрицу закрыли.

В поиске Яндекса осталась одна страница из сорока двух. /services/seo-promotion/construction/ ушла 9 сентября, и Вебмастер назвал причину: NO_INDEX. Запрет, поставленный 12 августа, сработал на двадцать восьмой день. Вторая, /services/seo-promotion/ecommerce/, держится до сих пор — на скачивании от 10 августа, робот к ней с тех пор не возвращался. Живая выдача говорит то же: по site:nexforce.ru/services/ Яндекс отдаёт два адреса, и связка среди них одна.

В Google за всё время — 13 адресов из 42, 211 показов и один клик (5 июня — 18 сентября). Цифру 184 выше не правим: она была верна на 1 сентября. За последние четыре недели у матрицы пять адресов, 59 показов и ни одного клика; лучшая средняя позиция — 61-я.

Третья ошибка: сигнал был в июне, а мы смотрели не туда

22 сентября 2026 года мы выгрузили историю событий «Страниц в поиске» — 635 записей за всё время домена. В ней нашлось то, чего в разборе не было.

28 июня 2026 года двадцать два адреса матрицы из сорока двух уже входили в поиск Яндекса. Робот скачал их 21 и 22 июня — за полтора месяца до августовского открытия. 30 июня все двадцать два были сняты, причина в Вебмастере — LOW_QUALITY, «малоценная или маловостребованная страница».

Прочитать это как «Яндекс забраковал матрицу ещё в июне» — соблазн, и он ложный. В тот же день сайт потерял 85 адресов, 84 из них с той же пометкой. Матрица вошла и вышла вместе со всем остальным: шла общая переборка молодого домена, а не приговор одному разделу.

Вывод про матрицу это не меняет: она не взлетела ни в июне, ни в августе. Меняет другое — июньский заход был, а мы о нём не знали. В августе матрицу открывали как новую затею, хотя адреса уже побывали в поиске и вышли оттуда. Причина незнания простая: текущий список страниц в поиске показывает только «есть» или «нет» на сегодня. Заход и выход трёхмесячной давности видны лишь в отчёте «История» с причинами исключения, а его запрашивают отдельно.

Из той же выгрузки — причины ухода за всё время:

Почему адрес уходил из поискаСколько раз
LOW_QUALITY — малоценная или маловостребованная211
NO_INDEX — запрет индексации15
NOT_CANONICAL, NOTHING_FOUND, HTTP_ERROR, редиректпо одному-два

На молодом домене страницы уходят не от запретов и не от поломок: четырнадцать уходов из пятнадцати — вердикт «малоценная». Разбираться надо с ним, а не с настройками.

Проверка 22 сентября: что со связками сейчас

Сорок один день после закрытия. Мы запросили все сорок два адреса подряд: каждый отвечает кодом 200, на каждом стоит noindex, в карте сайта нет ни одного. Для посетителя работают, для поиска закрыты — как и задумано.

В поиске Яндекса по-прежнему висит /services/seo-promotion/ecommerce/: последнее скачивание роботом — 10 августа, за два дня до закрытия. Соседнюю /services/seo-promotion/construction/ робот перекачал 2 сентября и снял с индекса 9-го, через неделю.

Отсюда правило, ради которого стоило считать: noindex срабатывает не по календарю, а по следующему скачиванию. Две страницы одного раздела, один и тот же запрет, поставленный в один и тот же день: одна ушла на двадцать восьмой день, вторая на сорок первый ещё на месте. Ждать бессмысленно — если страницу надо убрать быстро, её отправляют на переобход руками.

Дубли оказались ни при чём, и это мы перемерили

Первым объяснением провала было «матрица похожа на дорвеи». Сегодня мы пересчитали пересечение заново — по выложенным страницам, по совпадающим пятисловным сочетаниям, все 861 пара: медиана 3,1%, максимум 13,3%. Диагностика Вебмастера молчит о том же: ни «дублирующихся страниц», ни «страниц с одинаковыми заголовками и описаниями».

Дублями они не были — ни на глаз, ни по замеру. Отказали им не за это.

Заголовки, которых никто не набирает

Названия связок собирались перемножением: услуга в именительном, ниша в родительном. «Бренд-стратегия для юриспруденции». «Управление контентом для строительства». «Продуктовый дизайн для недвижимости».

Мы прогнали через Вордстат по России все сорок два заголовка. У сорока двух из сорока двух частотность нулевая — и точная, и со всеми уточнениями. Ни одного показа в месяц ни у одной формулировки.

Соблазн сделать вывод «плохо назвали» мы проверили и отбросили. Нормальные человеческие формулировки того же самого дают немногим больше: «продвижение сайта строительной компании» — 1, «seo для агентства недвижимости» — 0, «продвижение сайта юридических услуг» — 2, «разработка сайта для клиники» — 5 с уточнениями 41. По Вордстату пусто не в наших заголовках, а во всей развилке «услуга × ниша»: спрос живёт в коротком «продвижение сайта», а дробить его на сорок два входа не на что.

Догадку про каннибализацию мы теперь измерили

В августе мы записали её предположением: матрица целится в запросы, уже закрытые разделами ниш. Теперь это видно в цифрах Search Console.

Показы в Google связки получили по 21 запросу. В девяти из них по тому же запросу показывалась и другая наша страница — и в восьми случаях связка стояла ниже соседа.

ЗапросРаздел нишиСвязка
сео продвижение юридических услуг49,7 место98,4 место
seo агентство недвижимости65,670,0
seo для агентства недвижимости69,498,7
раскрутка сайтов недвижимости72,092,5
seo недвижимость77,597,4

Девятый запрос — «заказать медицинский контент»: 88-е место у smm-content/medicine и 91-е у content-management/medicine. Матрица спорила не только с родителями, но и сама с собой.

Контрольная группа того же возраста

У истории есть честное сравнение, и оно не в пользу матрицы. Разделы ниш /seo/{ниша}/ появились 6 августа — за день до того, как мы открыли связки. Один сайт, один робот, одна неделя старта.

Связки «услуга × ниша»Разделы ниш /seo/
Страниц4214
В поиске Яндекса на 19.09110
Показов в Google за всё время2112257

Четырнадцать страниц дали в десять раз больше показов, чем сорок две: 161 показ на страницу против пяти.

И вывод отсюда не «ниша слабая». Спрос по Вордстату околонулевой у обеих групп — разница в том, что одной страницы на нишу поиску хватило, а шести он не взял. Мы написали не мало текста и не плохой текст. Мы написали в пять раз больше страниц, чем на нишу нужно.

Что осталось верным

Все сорок две живы, отдают ответ 200 и остаются закрытыми от индексации — проверили каждую 3 сентября и перепроверили 19-го. Открывать обратно не собираемся, но по другой причине, чем думали в августе. Не «робот отверг», а конкуренция с родительскими разделами ниш за один запрос: внимание робота дороже тратить на страницы, которые показываются.

Числа по сайту за этот период, без подгонки: в поиске Яндекса было 48 адресов (7–9 августа), стало 91 к 12 августа, 151 к 25 августа и 133 на 2 сентября. Приписывать рост закрытию матрицы мы не будем — в те же недели вышли десятки новых материалов, а к сентябрю число снизилось. Честный вывод один: закрытие не помешало.

Как проверить это у себя

Порядок, который мы теперь считаем правильным, стоит трёх минут:

  • Посмотрите, скачан ли адрес. В Вебмастере это отдельная цифра. Скачан, а в поиске нет — техническую часть закрывайте: причина в содержании либо во времени.
  • Не судите раньше двух недель. Двое суток — это «бывает», а не норматив. Наш ответ пришёл на четырнадцатый день.
  • Смотрите обе системы. Google и Яндекс расходятся не в мелочах: один и тот же материал числился «нигде» в одной системе и собирал показы в другой.
  • Проверьте, не спорит ли новый материал с вашим же. Наша ошибка была в этом, а не в тексте: матрица целилась в запросы, уже закрытые разделами ниш.

И отдельно — про вердикт «малоценная страница», который приходит в этой истории чаще всего, и про то, что даёт молодой домен за два месяца: показы приходят быстро, клики — нет, и путать эти два события не стоит.

Вопросы и ответы

FAQ по теме

Что такое индексация простыми словами?+
Это второй из трёх шагов, которые проходит страница. Сначала робот её скачивает, потом решает, класть ли в базу, и только после этого она может попасть в выдачу. Слово «проиндексирована» обычно означает второй шаг, а человек под ним чаще всего имеет в виду третий — «показывается людям». Между ними может быть недели разницы, и именно в этот зазор попадают почти все вопросы «страница есть, а в поиске нет».
Через сколько новая страница попадает в поиск?+
По нашим замерам здоровая новая страница входит в поиск Яндекса примерно за двое суток: двенадцать терминов словаря, опубликованных 11 августа 2026 года, были в поиске 12-го. Но обратное неверно — отсутствие через двое суток ещё ничего не доказывает. Две наши страницы вошли в поиск через две недели после того, как робот их скачал.
Как понять, что робот страницу видел?+
В Яндекс.Вебмастере есть отдельные цифры: сколько адресов скачано и сколько находится в поиске. Если страница скачана, но в поиск не попала, техническую часть можно закрывать: дело не в доступе, не в robots.txt и не в скорости. Дальше разговор только о содержании и о том, отвечает ли страница на запрос лучше тех, что уже в выдаче.
Через сколько срабатывает noindex?+
Не мгновенно и не по расписанию. Мы поставили запрет 12 августа 2026 года: одна страница ушла из поиска Яндекса 9 сентября — на двадцать восьмой день, вторая держалась в выдаче и через сорок дней, на скачивании двухнедельной давности. Google показывал закрытые адреса ещё три недели. До переобхода поисковик о запрете не знает.
Помогает ли переписать текст, если страница не индексируется?+
Не всегда. Мы переписали 42 страницы до 92% собственного текста, и в поиск Яндекса за пять дней не вошла ни одна. При этом в Google те же страницы показы получали. Прежде чем переписывать, стоит убедиться, что страница вообще нужна в двух системах сразу и что прошло достаточно времени.