Дубли — это когда у одного содержимого две ссылки. Поисковик выбирает между ними сам и выбирает не всегда ту, которая нужна вам. Ниже восемь источников, каждый с проверкой на минуту, и наши замеры по ним.
Первые пять: ссылка, а не содержание
Здесь текст один, а ссылок несколько. Проверяется пятью запросами — мы проверили себя 5 сентября 2026 года:
| Что проверяем | Наш ответ |
|---|---|
http:// вместо https:// | 301 на https |
www. перед доменом | 301 без www |
| Без слеша на конце | 301 со слешем |
/index.html | 301 на корень |
Параметр ?utm_source=test | 200, без переадресации |
1. Протокол. Сайт, доступный и по http, и по https, — это две копии. Проверка: открыть по http и посмотреть код ответа. Должен быть 301.
2. Домен с www и без. То же самое: две ссылки, одно содержимое.
3. Слеш на конце. /blog и /blog/ для поисковика разные. Какой вариант
выбрать — не важно, важна одинаковость.
4. Индексный файл. /index.html, /index.php и корень — три пути к одной
странице.
5. Параметры. Метки рекламы, идентификаторы переходов, сортировки. Здесь
переадресации быть не должно — ссылка с меткой обязана открываться. Склейка
делается иначе: у нас в robots.txt перечислены десять параметров директивой
Clean-param, а на странице стоит canonical без параметра. Отдельный разбор
того, где canonical помогает, а где вредит, — у
нас есть.
Ещё три: содержание
6. Одинаковый Title или H1 у разных адресов. Самый частый и самый дешёвый в исправлении: шаблон, в который подставили одно название. Ищется сравнением всех заголовков между собой.
7. Совпадение текста выше порога. Тот самый near-duplicate. Тут важна оговорка, без которой мера бесполезна: сравнивать надо без шапки, подвала и меню. С ними любые две страницы одного сайта совпадают примерно на треть, и любой сайт выглядит состоящим из дублей.
8. Один текст на двух ссылках из-за пагинации, фильтров или версии для печати. Формально это уже пункты 1–5, но берётся не из настроек сервера, а из движка сайта, и находится только сравнением содержимого.
Что показал наш движок на живых сайтах
Проверка берёт до 25 ссылок из карты сайта и сравнивает их попарно. Обходить сайт по ссылкам мы намеренно не станем: карту владелец сам отдал поисковикам, а обход чужого сайта — это поведение сканера.
Замер 5 сентября 2026 года:
| Что проверяли | Результат |
|---|---|
| Наш сайт, 25 страниц из карты | 0 дублей, 0 одинаковых заголовков |
| Автомойка из нашего разбора ниши, 25 страниц | 203 пары совпадающих |
| Другая автомойка, 25 страниц | 17 пар |
| Ещё четыре сайта ниши | карта не нашлась — сравнивать нечего |
Двести три пары из двадцати пяти страниц — это почти полное совпадение всех со всеми: шаблон, в котором меняется только название услуги.
И вторая строка снизу важна не меньше: у четырёх сайтов из шести не нашлось карты сайта, а значит, проверка не отвечает «дублей нет» — она отвечает «сравнивать было нечего». Это разные ответы, и подменять первым второй нельзя.
Порядок проверки за десять минут
- Пять запросов на склейку. http, www, слеш, индексный файл, параметр. Четыре первых должны давать 301 в одну точку.
- Заголовки списком. Выгрузите Title всех страниц и отсортируйте: повторы видно сразу.
- Сравнение текста без обвязки. Либо инструментом, либо руками, но обязательно выбросив шапку, подвал и меню.
- Проверьте, что карта есть. Без неё половина проверок не работает — ни у вас, ни у поисковика.
Проверить дубли на своём сайте можно нашей проверкой: она читает карту, берёт до 25 страниц и показывает пары с процентом совпадения. И честно говорит, когда карты нет.