Sitemap — публичный файл, который сайт отдаёт роботам сам. Из него видно то, чего не покажет ни один сервис анализа: из чего сайт состоит на самом деле и на что владелец делает ставку.
Где искать
Сначала robots.txt. Откройте site.ru/robots.txt и найдите строку Sitemap: — там точный адрес. Надёжнее, чем угадывать: файл может лежать где угодно и называться как угодно.
Если строки нет — пробуйте site.ru/sitemap.xml. Соглашение, а не правило, но срабатывает в большинстве случаев.
Оба файла существуют затем, чтобы их читали. Никакого обхода защиты здесь нет.
Что вы увидите
Файлов бывает два вида, и различить их надо первым делом.
Список адресов — файл с тегами <loc>, внутри сами страницы.
Указатель — файл с тегами <sitemap>, внутри ссылки на другие такие же. У больших сайтов почти всегда так: отдельный файл под товары, под статьи, под категории.
Из трёх агентств, которые мы смотрели, у двух оказался указатель с восемью-девятью вложенными файлами, у третьего — плоский список на 1931 адрес.
Что из этого следует
Разложите адреса по первому разделу пути — и структура видна целиком. Живой пример, разбор одного из агентств:
| Раздел | Страниц |
|---|---|
| /blog/ | 1695 |
| /courses/ | 83 |
| /cost/ | 49 |
| /company/ | 31 |
| /articles/ | 29 |
| /instrumentyi-i-kalkulyator/ | 10 |
Читается однозначно: 88 процентов сайта — блог. Ставка сделана на информационный трафик, а не на посадочные под услуги. Коммерческих страниц меньше сотни на весь сайт.
Разбор занимает минуту и отвечает на вопрос, который обычно задают сервисам за деньги: чем конкурент вообще занят.
Что показали 75 карт подряд
Три примера — мало, чтобы говорить «обычно». Поэтому 21.09.2026 мы прошли карты подряд по выборке из 75 сайтов Екатеринбурга: услуги, ремонт, небольшая розница.
Карта есть почти у всех. Файл нашёлся у 70 сайтов из 75 проверенных. У пяти не нашёлся: три отдали 403 на сам файл, один не ответил, у одного адрес в robots.txt вёл на ?sitemapindex.xml, и по нему приходила страница без единого адреса.
robots.txt — правильный первый шаг, и это видно по числам. Строка Sitemap: нашлась в 72 из 73 доступных robots.txt. Из 70 карт 67 взяты оттуда, и только три пришлось угадать по /sitemap.xml. Строк бывает несколько сразу — в выборке попадалось до пяти.
Указатель или плоский список — почти поровну: 30 против 40. Вложенных файлов у указателя обычно немного, медиана 5, но у двух сайтов — 79 и 83.
Размер ничего не говорит о размере бизнеса. Медиана — 135 адресов, разброс от 1 до 13 458. Самые большие карты у тех, кто выгружает прайс или каталог целиком.
Разделов больше, чем кажется, а ставка — в одном. Медиана числа разделов 18, но крупнейший держит в медиане треть всех адресов, а у восьми сайтов выборки — больше 80%: 12 899 адресов из 13 458 в /price/, 9 486 из 9 910 в /product/, 950 из 1042 — одна группа комплектующих. Такой перекос читается с первого взгляда и означает: всё остальное владельцем не занято.
География видна сразу. У службы доставки в крупнейших разделах msk и spb, у перевозчика — izhevsk, kemerovo, novosibirsk, у клининговой компании 345 адресов в /metro/ и 144 в /rajony/. Это не догадка о стратегии, а её готовый список.
Как разобрать разом, а не глазами
Файл на две тысячи адресов глазами не читают. Достаточно вытащить адреса и посчитать их по разделам — это одна строка в терминале:
curl -s https://site.ru/sitemap.xml \
| grep -o '<loc>[^<]*' | sed 's|<loc>||' \
| awk -F/ '{print $4}' | sort | uniq -c | sort -rn
На выходе — та самая таблица разделов с числом страниц в каждом. Если попался указатель, сначала вытащите из него адреса вложенных файлов тем же способом и пройдите по ним.
Ограничения, о которых стоит помнить: файл бывает сжат в .gz, тогда его надо распаковать; бывает разбит на части по пятьдесят тысяч адресов; и бывает закрыт от посторонних, хотя это редкость — он существует ровно затем, чтобы его читали.
Даты изменения
Тег <lastmod> хранит дату последнего изменения страницы. У сайта из примера свежайшая совпала с днём проверки — файл живой и обновляется.
Полезнее, чем кажется. Одинаковый lastmod, меняющийся после каждой сборки, сообщает поисковику «изменилось всё» — такой сигнал перестают учитывать. Мы это чинили: 121 страница из 155 получала дату сборки вместо даты правки.
Полезнее, чем кажется, и хуже всего сделано. В той же выборке из 75 сайтов тега lastmod не оказалось вовсе у восьми карт, ещё у одиннадцати дата одинаковая на всех адресах сразу — в том числе на карте из 13 458 адресов. Разные даты, по которым вообще можно что-то понять, — только у 51 карты. Одинаковая дата сообщает поисковику «изменилось всё», такой сигнал перестают учитывать.
Чего карта не покажет
Трафик и позиции. Файл говорит, что у сайта есть, а не что работает. Число страниц не равно результату: у нас 42 страницы там были и не вошли в поиск ни одной.
Силу конкурента. Для 32 сайтов выборки мы знаем и размер карты, и позицию по их собственной нише в Яндексе. Медиана адресов у стоящих на 1–3 месте — 177, на 4–6 — 105, на 7–10 — 105. Ранговая связь −0,11, то есть её нет. Большая карта не значит сильный сайт, маленькая — не значит слабый.
Страницы вне списка. Туда попадает то, что владелец решил положить. Часть сайта может отсутствовать вовсе.
Качество. Тысяча статей в списке не означает тысячу хороших.
Как это применить
- Посмотрите структуру трёх-четырёх конкурентов из своей выдачи. Обычно сразу видно, чем они берут: объёмом статей, числом гео-страниц или проработкой услуг.
- Сравните с собой. Не по количеству — по соотношению. Если у всех коммерческих страниц втрое больше, чем у вас, это разговор про структуру, а не про тексты.
- Проверьте свой файл на ту же ошибку с датами и на мусор: страницы с переадресацией, закрытые от индексации, несуществующие.
Проверить свой файл можно нашей бесплатной проверкой — она смотрит доступность, формат, число адресов и выборочно сами страницы. Что ещё показывает панель Яндекса про индексацию — в разборе Вебмастера.