Проверить карту сайта
Карта сайта — это список адресов, который вы сами передаёте поисковой системе. Она не заставляет индексировать, но именно по ней робот узнаёт о страницах, на которые мало внутренних ссылок. Ошибки здесь тихие: карта отдаётся, выглядит рабочей, а половины страниц в ней нет.
Что именно смотрит проверка
- —Есть ли sitemap.xml и отдаётся ли он кодом 200, а не через переадресацию
- —Указана ли карта в robots.txt — так её находят без ручной отправки
- —Сколько адресов внутри и нет ли превышения пределов (50 000 адресов или 50 МБ)
- —Нет ли в карте адресов, закрытых в robots.txt или отдающих noindex
- —Нет ли адресов с переадресацией и битых — они тратят обход впустую
- —Проставлены ли даты изменения и не одинаковые ли они у всех страниц
Почему это влияет на поиск
Карта — единственный способ рассказать о странице без ссылок
Робот приходит по ссылкам. Если на страницу не ссылается ничего, кроме карты, она и попадёт в обход только через карту. Поэтому в неё должны входить все страницы, которые вы хотите видеть в поиске — и только они.
Противоречие с robots.txt стоит доверия к карте
Когда в карте лежат адреса, закрытые от индексации, поисковая система получает от сайта два разных указания сразу. Это не ошибка, за которую наказывают, но это шум: разбираться, какое из указаний настоящее, придётся ей, и не всегда в вашу пользу.
Одинаковые даты изменения обесценивают признак
Если после каждой сборки карта сообщает, что изменились все страницы, признак перестают учитывать. Мы наступили на это сами: 121 адрес из 155 отдавал дату сборки вместо настоящей даты правки. Теперь даты берутся из истории изменений, и они разные.
Введите адрес — покажем за 30 секунд
Без регистрации. Проверка идёт по этой странице сайта и заодно показывает остальные заметные ошибки, если они есть.
Что обычно находим по этой проверке
В карте лежит то, что закрыто от индексации
Сайт передаёт поисковой системе два противоположных указания сразу. Разбираться, какое настоящее, приходится ей, и не всегда в вашу пользу.
У всех адресов одна дата изменения
Карта после каждой сборки сообщает, что изменился весь сайт. Признак перестают учитывать, и настоящая правка теряется в общем шуме.
Половины страниц в карте нет
Обычно это разделы, добавленные позже, чем настраивали карту. Заметно только сравнением списка адресов с картой — на глаз файл выглядит рабочим.
Как чинить то, что нашлось
Собирать карту из данных, а не руками
Ручной список устаревает на первой же новой странице. Карта должна собираться из того же источника, что и сами страницы — тогда она не может разойтись с сайтом.
Даты брать из настоящей истории правок
Не дату сборки и не сегодняшнее число, а момент, когда содержимое страницы правда менялось. Если истории нет — лучше не указывать дату вовсе, чем указывать неверную.
Разделять большие карты
При превышении пределов карта делится на несколько с общим файлом-указателем. Разделять удобно по разделам: так сразу видно, какой раздел обходится хуже других.
Если чинить некому или непонятно, с чего начинать, — это и есть наша работа: SEO-продвижение сайта, а сколько это стоит — на странице стоимость продвижения.
Вопросы про карта сайта
Формально нет: небольшой сайт с хорошей перелинковкой обойдётся без неё. Практический смысл появляется от нескольких десятков страниц и на любом сайте, где есть разделы с малым числом входящих ссылок — карта для них единственный канал попасть в обход.
Нет, и это частое заблуждение. Карта помогает найти страницу, но решение о включении в поиск принимается по её содержимому. Мы видели это на своём сайте: страницы были в карте и обойдены роботом, но в поиск не попали, пока не изменился их тип.
Она должна обновляться автоматически при появлении и изменении страниц. Отдельно отправлять её после каждой правки не нужно: достаточно указать адрес в robots.txt и один раз добавить в панель вебмастера.
Что ещё можно проверить бесплатно
Отвечает ли сайт и с каким кодом
Пары страниц с совпадающим текстом — сравнение по пятёркам слов без шапки, подвала и меню
Признаки платформы в разметке страницы
Есть ли на странице разметка JSON-LD и разбирается ли она без ошибок
Есть ли robots.txt и отдаётся ли он кодом 200
Title: есть ли, длина, не обрезается ли в выдаче, не повторяется ли на других страницах
Время ответа сервера — сколько проходит до первого байта
Мета-тег robots и заголовок X-Robots-Tag: не закрыта ли страница от индексации
Все проверки сразу: метатеги, скорость, индексация, разметка и мобильная версия — больше двадцати параметров.