Битая ссылка — это переход, который ведёт на несуществующий адрес. Владелец сайта её обычно не видит: он ходит по своим маршрутам, а ломается то, чем он сам не пользуется — старая статья, карточка снятого товара, ссылка на закрывшийся источник.
Чем это мешает на самом деле
Начнём с того, чем не мешает: прямого понижения за битые ссылки нет. Поисковые системы не наказывают за них как за нарушение. Вред другой и косвенный.
Первое — краулинговый бюджет. Робот обходит ограниченное число адресов за раз, и каждый заход на ошибку — это страница, которую он не посмотрел вместо неё. На сайте из тридцати страниц разницы не заметите, на каталоге из десяти тысяч потеря измеримая.
Второе — поведение людей. Переход на ошибку — это оборванный сценарий: человек шёл за товаром или ответом и упёрся в стену. Часть таких людей возвращается в выдачу и открывает конкурента, а это уже сигнал, который системы учитывают.
Третье — доверие. Ссылки в никуда, особенно в меню и подвале, читаются как признак того, что сайтом не занимаются.
Где они берутся
Переезд без перенаправлений: адреса сменились, ссылки остались старыми. Удаление товаров и статей: страницу убрали, а ссылки на неё живут в подборках. Опечатки в разметке — лишний пробел, кириллическая буква вместо латинской. И внешние источники, которые закрываются сами, без всякого участия с вашей стороны.
Как искать
Наша проверка обходит страницы из карты сайта, собирает с них ссылки и проверяет по одному адресу за раз, соблюдая robots.txt. Сначала проверяются свои страницы: за них отвечаете вы, и чинить их проще.
Важная оговорка: это выборочная проверка, а не полный обход. Мы смотрим первые страницы карты и до девяноста адресов — этого хватает, чтобы увидеть системную проблему, но мало для каталога в тысячи позиций. Там стоит повторить по разным разделам или брать полноценный обходчик.
Отдельно стоит смотреть отчёт панели вебмастера: он показывает битые ссылки, которые нашёл сам робот, включая переходы с чужих сайтов на ваши несуществующие адреса — такое никаким внешним обходом не найти.
Чего проверка не покажет
Ссылки на страницах, закрытых от обхода в robots.txt: мы соблюдаем запрет и туда не заходим. Ссылки, которые появляются только после нажатия или в личном кабинете. И ссылки, которые сервер отдаёт по-разному разным посетителям.
Ещё один случай, о котором стоит знать: сайт, отвечающий на любой несуществующий адрес кодом 200 вместо ошибки. Формально битых ссылок у него не будет вовсе, а на деле в индекс уйдут сотни пустых страниц. Это отдельная поломка, и ищется она проверкой индексации.