Clean-param — короткая строка в robots.txt, которая избавляет сайт от дублей, созданных рекламными метками. Мы решили проверить, кто её вообще ставит, и прочитали robots.txt у 264 доменов Екатеринбурга.
Замер: кто ставит, а кто нет
Взяли список компаний из своих разборов ниш и запросили у каждого домена
robots.txt. Один запрос на сайт, замер 5 сентября 2026 года.
| Сайтов | |
|---|---|
| Доменов в списке | 264 |
| Отдали robots.txt | 175 |
| Не ответили или файла нет | 89 |
Дальше — что внутри этих 175 файлов:
| Директива | Сколько файлов |
|---|---|
| Sitemap | 150 |
| Host — в документации Яндекса её больше нет | 61 |
| Clean-param | 52 |
Тридцать процентов. Причём отсутствующую в документации Host ставят чаще, чем действующую директиву: 61 против 52.
Это и есть главный результат замера. Файлы копируют из старых шаблонов целиком: вместе с директивой, которая уже не нужна, и без той, которая работает. В действующем описании robots.txt у Яндекса перечислены пять директив — User-agent, Disallow, Sitemap, Clean-param и Allow. Host среди них нет.
Что делает директива
Метка рекламы не меняет содержимое страницы, но создаёт новый адрес. Для
поисковика /uslugi/ и /uslugi/?utm_source=vk — две разные страницы с
одинаковым текстом.
Документация Яндекса объясняет смысл директивы так:
Робот Яндекса, используя эту директиву, не будет многократно перезагружать дублирующуюся информацию. Таким образом, увеличится эффективность обхода вашего сайта, снизится нагрузка на сервер.
Без неё происходит две вещи сразу. Сигналы одной страницы делятся между её вариантами — ссылки, поведение, показы расходятся по копиям. И обход тратится впустую: робот скачивает одно и то же под разными адресами вместо того, чтобы дойти до новых страниц.
Метки бывают не только рекламные
Интересное в замере — что именно перечисляют те, кто директиву поставил. Кроме
привычных utm_* там встречаются:
etext,yadclid,yadordid— метки переходов из Яндекса;_ym_status-check,_ym_lang,_ym_debug— служебные параметры Метрики;sphrase_id,bitrix_include_areas,clear_cache— параметры движка сайта;print— версия для печати.
То есть половина проблемы приходит не от рекламы, а от самой CMS. Список параметров нельзя списать у соседа: у каждого движка он свой, и смотреть надо в адреса собственного сайта.
Как это выглядит у нас
Clean-param: utm_source&utm_medium&utm_campaign&utm_term&utm_content&yclid&gclid&from&_openstat&ysclid
Десять меток: пять utm_*, три идентификатора переходов и два старых
параметра статистики. Строка стоит вне секций и относится ко всему сайту;
полный разбор нашего robots.txt — в отдельной
статье.
Три вещи, которые стоит знать до того, как писать свою строку:
- Параметры разделяются знаком
&, а не запятой и не пробелом. - Второе поле — префикс пути — необязательно; без него правило действует на весь сайт.
- Длина правила ограничена 500 знаками. Если параметров много, строк делают несколько.
Чего она не делает
- Не работает в Google. Это директива Яндекса. Для Google ту же задачу решает canonical без параметров — где он помогает, а где вредит, мы разбирали отдельно.
- Не запрещает обход. И не должна: ссылка с меткой обязана открываться,
по ней приходят люди из рекламы. Закрывать параметры через
Disallow— ошибка. - Не лечит остальные дубли. Слеш на конце, www, http и одинаковые заголовки живут отдельно — восемь источников дублей разобраны в соседней статье.
Что сделать со своим файлом
- Посмотрите, есть ли у вас Host. Если есть — её можно убрать: в действующем описании директив её нет.
- Соберите свои параметры. Не из шаблона, а из адресов своего сайта: метки рекламы, параметры движка, сортировки и печать.
- Проверьте, что метка открывается. Ссылка с
?utm_source=должна отдавать 200, а не переадресацию.
Проверить свой файл целиком можно нашей проверкой robots.txt — она разбирает директивы и показывает, что именно закрыто.