Меню на главной странице — не структура сайта, а её витрина. Чтобы увидеть разделы целиком, нужны два источника, и они почти всегда расходятся. Мы сверили их на выборке и посчитали, насколько.
Два источника и третий про запас
Ссылки с главной. Показывают то, что владелец считает важным: меню, футер, блоки услуг. Это картина глазами посетителя.
Карта сайта (/sitemap.xml). Перечисляет адреса, которые сайт сам отдаёт поисковику. Это картина глазами робота, и она единственная даёт размер: сколько страниц в каждом разделе.
Поиск по домену. Запрос site:домен.ru в Яндексе или Google показывает третью картину — то, что реально попало в индекс. Полного списка поисковики не отдают, но расхождение с картой видно сразу.
Ни один из трёх не полон. Структура — это их объединение.
Что показала сверка 57 площадок
22.09.2026 мы прошли по выборке малого бизнеса Екатеринбурга: у каждого сайта взяли карту, разобрали адреса на разделы первого уровня, затем скачали главную и собрали разделы, на которые с неё ведут ссылки. Дальше сравнили два набора.
| Что считали | Медиана |
|---|---|
| Разделов в карте | 17 |
| Разделов, на которые есть ссылка с главной | 17 |
| Из них общих у карты и главной | 13 |
| Доля разделов карты, видных с главной | 86% |
Числа в первых двух строках совпали, а третья показывает, что это разные семнадцать.
Полное совпадение — редкость. Все разделы карты нашлись в ссылках с главной у 18 площадок выборки. У 10 главная показывала меньше половины, у 6 — меньше четверти.
Главная обычно богаче карты, а не беднее. Разделы, куда ведёт ссылка с главной, но которых в карте нет, обнаружились у 55 площадок из 57 — серединное значение четыре. Обратное — раздел в карте без ссылки с главной — нашлось у 39, серединное значение два. У 37 из 57 неполны оба источника сразу.
Но вес скрытого обычно мал. Если посчитать не ветки, а адреса в них, то в видных с главной лежит 97% страниц карты. То есть меню умалчивает в основном про мелочь: страницу «спасибо», пару лендингов, служебный каталог.
Исключения решают всё. У перевозчика с картой на 6821 адрес с главной было видно 10 разделов из 54, а в скрытых лежали города: 197 адресов в /kemerovo/, 189 в /novosibirsk/, 188 в /voronezh/. Вся региональная работа компании не показана на главной ни строкой. У другой службы доставки главная вела в 2 раздела из 105, у подрядчика по земляным работам — в 6 из 158.
Почему источники расходятся
Карту собирает плагин или движок по своим правилам. Он не знает про ветку, собранную руками, пропускает закрытое от индексации и часто не включает страницы, которые открываются только из формы.
Меню собирает человек и правит его редко. Направление, запущенное полгода назад, может остаться без ссылки просто потому, что в меню кончилось место.
Отсюда практическое: разделы берём из объединения, а размер — только из карты. В меню самый крупный и пустой занимают одну строку.
Порядок на четыре шага
- Карта.
curl -s https://сайт.ru/robots.txt | grep -i sitemap— адрес почти всегда указан там. Если карта оказалась указателем, скачайте вложенные файлы. - Разбор адресов на разделы. Первый сегмент пути — это и есть имя ветки; посчитайте, сколько адресов в каждом.
- Главная. Скачайте её и соберите ссылки на тот же домен — получится второй набор разделов.
- Сравнение. То, что есть только в карте, — отвечает на вопрос «что делают, но не показывают». То, что есть только на главной, — «что показывают, но не масштабируют».
Разбор двух наборов одной командой:
curl -s https://сайт.ru/sitemap.xml | grep -o '<loc>[^<]*' | sed 's|<loc>||' \
| awk -F/ '{print $4}' | sort | uniq -c | sort -rn | head -20
Та же логика для главной — заменить источник на curl -sL https://сайт.ru/ и вынимать href.
Что из этого читается
Перекос. Если в одном разделе больше половины адресов, ставка бизнеса там. Остальное — заполнение.
Тихая география. Города в разделах при их отсутствии в меню означают, что сайт ведёт региональную работу под поиск, а не под посетителя.
Заброшенное. Ветка есть в карте, ссылки с главной нет, страниц в ней три — так выглядит начатое и оставленное направление. Это подсказка, где у конкурента слабо.
Границы замера
Выборка — 57 сайтов малого бизнеса одного города, у которых карта отдалась и содержала больше пяти адресов. Мы смотрели только первый уровень пути: сайт, где всё лежит в /catalog/, в этой методике выглядит как один раздел. Ссылки, которые главная дорисовывает скриптом после загрузки, в подсчёт не попали — на таких сайтах доля видимого занижена.
Коротко
Структура чужого сайта не лежит ни в меню, ни в карте целиком: в нашей выборке главная показывала 13 разделов из 17, а у 37 площадок оба источника были неполны. Берите оба, объединяйте списки и считайте размер раздела по числу адресов в карте — в меню он не виден вовсе.