Дубли обычно ищут у себя. Но то же самое полезно уметь смотреть снаружи: у конкурента, у сайта перед покупкой, у площадки, которую ведёт подрядчик. Пяти запросов хватает, доступы не нужны. Мы прогнали их по выборке из 75 сайтов живой выдачи Екатеринбурга.
Пять адресов одной главной
for p in "/" "/index.php" "//" "/?abcxyz=1" "/?utm_source=test"; do
curl -s -o /dev/null -w "$p %{http_code}\n" "https://example.ru$p"
done
Если под разными адресами отдаётся одна и та же страница с кодом 200 — поиск видит несколько копий.
| Адрес | Отдал ту же главную |
|---|---|
| С меткой utm | 29 |
| Двойной слеш в начале пути | 27 |
| Произвольный параметр | 22 |
/index.php | 3 |
/index.html | 0 |
Ни одного лишнего адреса — у 40 сайтов выборки. Один — у семи, два — у двенадцати, три — у четырнадцати, все четыре — у двух.
Лишний адрес — ещё не дубль
Здесь легко напугать себя и заказчика. Адрес с меткой обязан открываться: иначе сломается реклама. Копией он становится тогда, когда поиску не сказано, какая версия главная.
Подпись canonical есть у 55 сайтов выборки. Из 35 с лишними адресами
подписаны 27 — у них копии склеятся. Без подписи остались восемь.
Второй источник — написание с www и без: обе версии открываются у двадцати сайтов, и у восьми из них подписи тоже нет. Этот источник мы потом перемерили на выборке втрое большей — разбор ниже.
Итого без всякой защиты — 12 адресов из 75, каждый шестой. Это и есть настоящая цифра, а не пугающие тридцать пять.
Второй замер: www и без www у 241 адреса
Написание с www — самый частый источник двойника, поэтому мы проверили
его отдельно и на большем наборе. 22.09.2026 обход охватил 241 сайт
Екатеринбурга: у каждого запросили обе версии главной и сравнили, куда
каждая приводит.
Поддомены из этой проверки исключены: для адреса вида
город.компания.ru написание с www смысла не имеет.
| Что получилось | Сколько сайтов |
|---|---|
| Склеены переадресацией — норма | 170 |
Две живые копии, склеены подписью canonical | 24 |
| Две живые копии без всякой подписи | 19 |
Две копии, а canonical указывает сам на себя | 3 |
| По двум адресам отдаётся разное содержимое | 2 |
Версия с www не отвечает, отдаёт 404 или отказ | 9 |
| Основное имя не отдало 200 — проверять нечего | 14 |
Семь из десяти сайтов вопрос закрыли переадресацией, и это правильный
ответ: робот и человек всегда попадают в одно место. Ещё 24 обошлись
подписью canonical — копия открывается, но помечена как неглавная.
Нерешённых остаётся 22: девятнадцать без подписи и три, где подпись указывает сама на себя. Последний случай особенно обидный: тег стоит, выглядит как решение, а сообщает роботу «главная версия — это я» с каждой из двух копий сразу. Робот выбирает сам.
Отдельно стоят два сайта, которые по двум написаниям отдают разное содержимое. Это уже не дубль, а два разных сайта под похожими именами — и почти всегда наследство переезда, о котором забыли.
Проверка, о которой забывают: а открывается ли версия с www
Мы ходили туда программой, которая не проверяет сертификат.
Браузер — проверяет. И у двенадцати сайтов сертификат не знает имени с
www: сервер отвечает нормально, а браузер
вместо страницы покажет предупреждение.
Восемь из этих двенадцати живут двумя копиями. А у четырёх настроена
правильная переадресация с www на основное имя — и она бесполезна:
до переадресации дело не доходит, соединение обрывается раньше.
Поэтому проверять www надо двумя способами сразу: куда он ведёт и
открывается ли он вообще. Первое видно программе, второе — только
браузеру.
Что отвечает индексный файл
Ответ на /index.php | Сколько |
|---|---|
| Переадресация на корень | 46 |
| 404 — файла нет | 18 |
| 200 — открывается как страница | 8 |
Восьмёрка внизу — копия главной под вторым адресом, классическое наследство
старых движков. Проверять стоит и /index.html: в выборке он не открылся
нигде.
Зачем это знать про чужой сайт
Конкурент. Расклеенная главная без подписи говорит, что техникой никто не занимается. Если такой сайт всё равно стоит выше, догонять его надо не метатегами, а тем, чего у вас нет: спросом, ассортиментом, ссылками.
Покупка. Дубли — это разведённый вес и мусор в индексе, который придётся чистить после сделки. Проверка входит в короткий список перед покупкой.
Подрядчик. Пять запросов за минуту показывают, сделана ли базовая настройка, о которой обычно пишут в отчётах.
Чего снаружи не видно
Содержательные дубли: шаблонные страницы услуг, карточки-близнецы, копии под города. Снаружи адрес у них разный, и различить их можно только сравнением текста. Для своего сайта это делает наша проверка: она читает карту, берёт до 25 страниц и показывает пары с процентом совпадения. Полный разбор восьми источников — в отдельной статье.
Границы замера
Здесь два замера. Первый — обход 75 сайтов по пяти написаниям главной.
Второй — обход 241 сайта только по написанию с www и без; поддомены из
него исключены. Складывать их числа нельзя.
Проверялась только главная: внутренние страницы склеены иначе и чаще хуже. Сравнение шло по содержимому ответа, поэтому сайт с меняющимся блоком — курсом валют, счётчиком, случайным отзывом — мог попасть в «разные» ошибочно. Один город, один день, запросы из России.
Коротко
Пять запросов показывают, сколько написаний ведёт на одну главную, а тег canonical — считаются ли они копиями. Лишние написания нашлись у 35 сайтов выборки, без подписи остались восемь, а вместе с расклейкой по www совсем без защиты живут двенадцать.
По второму замеру, втрое большему: семь сайтов из десяти закрыли вопрос переадресацией, 24 — подписью, и 22 не закрыли никак. А у четырёх та переадресация, которую они настроили, для живого посетителя не работает — браузер обрывает соединение раньше, чем до неё доходит.