«У нас всё в порядке, страница открывается» — самый частый ответ на вопрос про 404. Он ничего не говорит: у человека открывается почти всё. Важно, какой код ушёл роботу и увидит ли человек хоть что-то, кроме слова Not Found.
Что мы разобрали
22.09.2026 мы взяли 259 живых адресов компаний Екатеринбурга и запросили у каждого заведомо несуществующую страницу — один и тот же выдуманный адрес. Смотрели три вещи: код ответа, объём видимого текста на том, что отдано, и есть ли с него выход.
На обход ответили 250 сайтов, девять не ответили вовсе. Ответ на несуществующий адрес — одна из семи проверок, которыми мы разбирали этот же город: остальные шесть в статье «Как проверить, работает ли сайт».
| Код ответа на несуществующий адрес | Сколько сайтов |
|---|---|
| 404 — страницы нет | 227 |
| 200 — «всё в порядке, документ на месте» | 14 |
| 403 — доступ запрещён | 3 |
| 401 — требуется авторизация | 2 |
| 500, 410, 429, 444 | по одному |
Девять из десяти отвечают правильно. Остальные интереснее.
Код 200 на пустом месте
Справка Вебмастера описывает этот код одной фразой:
«Код ответа 200 ОК означает, что на момент проверки всё в порядке и страница доступна для роботов и посетителей сайта».
Яндекс Вебмастер, «Как проверить, что сайт доступен для посетителей и поисковых роботов»
Сайт, отвечающий 200 на выдуманный адрес, сообщает поиску: страница существует, индексируй. Роботу нечего удалять — ему не сказали, что удалять.
Что лежит у этих четырнадцати:
| Что отдаётся под кодом 200 | Сколько сайтов |
|---|---|
| Копия главной — текст и объём совпадают | 8 |
| Пустое тело, ноль видимых знаков | 3 |
| Обрывок в три десятка знаков или битая кодировка | 2 |
| Страница «Домен продаётся» | 1 |
Первая строка — худшая. Восемь сайтов по любому выдуманному адресу показывают свою главную. Для робота это значит, что у сайта бесконечное число адресов с одинаковым содержимым, и каждый отвечает «я в порядке».
На пустое тело в справочнике ошибок индексирования есть отдельная строка: «Документ не содержит текста — сервер возвращает пустой документ».
Правильный код — это половина дела
Дальше мы прочитали то, что отдали эти 227 сайтов: человек туда попадает.
Медиана видимого текста — 1411 знаков: обычный экран с шапкой, объяснением и меню. Распределение неровное:
| Что на странице 404 | Сколько из 227 |
|---|---|
| Не больше 200 знаков видимого текста | 67 |
| Из них не больше 50 знаков | 32 |
| Ни одного знака, пустое тело | 2 |
| Нет тега title | 11 |
| Нет ссылки на главную | 60 |
| Нет вообще ни одной ссылки | 18 |
| Есть поиск по сайту | 90 |
Двадцать пять сайтов отдают дословно одну и ту же строку — 404 Page Not Found и ничего больше. Ещё пять отвечают текстом веб-сервера The requested URL was not found on this server. Это заглушка по умолчанию: её никто не делал, она досталась вместе с хостингом.
Восемнадцать ответов без единой ссылки — это тупик. Человек, пришедший из поиска по старому адресу, на такой странице может только закрыть вкладку.
Чем 404 отличается от 410 и от 301
Коды не взаимозаменяемы, и справка Вебмастера различает их прямо:
«Настройте сервер так, чтобы при обращении робота к адресу страницы он отправлял HTTP-статус с кодом 404 Not Found, 403 Forbidden или 410 Gone. Для удобства пользователей рекомендуем установить редирект с HTTP-кодом 301».
Яндекс Вебмастер, «Как удалить страницы из поиска»
Там же — что будет дальше: при коде 404, 403 или 410 «из поисковой базы страница будет удалена в течение недели после того, как робот обнаружит ваши указания».
Отсюда правило:
- 404 — адреса нет и не было, либо он удалён без замены. Обычный случай.
- 410 — документ был и удалён навсегда. В нашем обходе так отвечает один сайт из 250, и это осознанная настройка.
- 301 — у страницы есть замена, и человека надо отправить туда. Не на главную: перевод всех удалённых адресов на главную человека раздражает, а роботу ничего не объясняет.
- 500 — сервер сломался. Для поиска это не «такого адреса нет», а «сайт сейчас не работает», и реакция у робота совсем другая: он вернётся позже.
Тридцать один сайт из 227 не показывает 404 по запрошенному адресу, а уводит на другой — обычно на отдельный адрес вида /404/. Код при этом остаётся правильным, так что для поиска разницы нет; для разбора логов — есть.
Откуда вообще берутся заходы на несуществующие адреса
Чаще всего — не со стороны. В Вебмастере есть отчёт «Внутренние ссылки, ведущие на несуществующие страницы»: туда попадает то, чем сайт ссылается сам на себя. У нас на 22.09.2026 в нём 52 записи.
Разбор поимённо оказался поучительнее самого числа.
Часть записей — вообще не ссылки. Робот принял за адрес кусок оформления, зашитый прямо в разметку карточки, и сложил его с текущим адресом. Источник мы убрали ещё 2 сентября, вынеся рисунок в таблицу стилей, но адреса остались в памяти робота, и он перепроверяет их до сих пор.
Остальное — адреса разделов и статей. Мы запросили каждый из пятнадцати: тринадцать отвечают 200, два — 301 на новое место. Ни одного живого 404 среди них нет.
Отсюда вывод, который стоит дороже отчёта: счётчик битых ссылок и число ответов 4xx в Вебмастере не годятся как сигнал тревоги. Они растут от переобхода давно исправленного и не отвечают на вопрос «сломали ли мы что-нибудь сегодня». На этот вопрос отвечает сверка собранного сайта с картой: каждый адрес из sitemap.xml обязан существовать, и каждая внутренняя ссылка обязана вести на собранный файл. Делать её надо в день выкладки, а не по всплеску в отчёте.
Наша собственная страница, честно
Свой сайт проверили тем же способом. Код правильный — 404, заголовок h1 на месте, текст и кнопка «На главную» есть.
А вот title у этой страницы — общий для сайта, «NEXFORCE — поисковое продвижение и сайты», и описание тоже взято с главной. Для робота это мелочь: код важнее. Для человека, у которого открыто восемь вкладок, — не мелочь: во вкладке написано название сайта, а не «страница не найдена». Поправим.
Как посмотреть у себя
- Дописать к адресу сайта любую бессмыслицу —
вашсайт.ру/проверка-404-абвгд/— и открыть. - Посмотреть код ответа, а не картинку: в Вебмастере это «Инструменты» → «Проверка ответа сервера», в браузере — инспектор, вкладка «Сеть», первая строка. Нужен 404. Если там 200 — это тот случай, ради которого написана статья.
- Проверить, что показано. Если на выдуманном адресе открылась главная — сайт врёт роботу по каждому несуществующему адресу.
- Прочитать написанное глазами: понятно ли человеку, что случилось, и есть ли куда уйти — меню, ссылка на главную, поиск.
- Заглянуть во вкладку браузера: если в
titleстоит название сайта, а не «страница не найдена», это правится одной строкой в шаблоне.
Границы замера
Мы запросили один выдуманный адрес у каждого сайта, в один день и из одной точки. Сайт может отвечать по-разному на разные пути: например, отдавать 404 в корне и 200 внутри каталога товаров — такого мы не увидим. Девять сайтов не ответили нам вовсе, и про них мы не говорим ничего: возможно, они отказали именно нашему запросу. Объём текста считался по исходному коду, без выполнения скриптов, поэтому там, где содержимое дорисовывается в браузере, он занижен. И это срез одного города за один день.
Тот же набор адресов мы обошли в этот день дважды, и числа во втором обходе оказались другими: в первом честную 404 отдали 232 сайта и код 200 — шестнадцать. Мы сверили обходы по каждому адресу: ни один сайт не изменил ответ. Все одиннадцать расхождений — это связь, а не настройки: девять адресов на второй запрос не ответили вовсе, два ответили отказом. Это само по себе стоит запомнить: повторный обход тех же сайтов гуляет на несколько процентов просто потому, что часть из них в этот момент недоступна, и разница между двумя замерами — ещё не изменение.
Коротко
Из 250 ответивших сайтов честную 404 отдают 227, а 14 сообщают поиску, что выдуманная страница существует, — у восьми из них там лежит копия главной. Но и правильный код сам по себе ничего не спасает: у 67 сайтов на ней меньше двухсот знаков, у 60 нет ссылки на главную, у 18 — ни одной ссылки вообще. Проверяется это за минуту, а чинится за вечер.