Краулинговый бюджет
Сколько страниц сайта поисковый робот успевает обойти за один заход. Ресурс ограниченный, и его легко потратить впустую.
Робот не обходит сайт целиком каждый раз. Он тратит на ресурс ограниченное время, и сколько именно — зависит от того, как быстро отвечает сервер и насколько сайту доверяют. На маленьком сайте это незаметно. На каталоге с фильтрами разница решает: робот может неделями ходить по сочетаниям параметров и не доходить до карточек товаров.
Тратится бюджет на всё, что отвечает кодом 200: дубли из фильтров и сортировок, страницы пагинации, версии для печати, служебные адреса, цепочки редиректов. Каждый такой адрес — это страница, которую робот не обошёл вместо него.
Признак проблемы виден в Вебмастере: страниц в обходе много, а в поиске мало, и новые разделы неделями висят со статусом «обнаружена, но не проиндексирована».
Сначала закройте от обхода то, у чего нет своего спроса — сочетания фильтров, сортировки, служебные разделы. Это даёт больше, чем ускорение сервера: робот перестаёт тратить заход на копии.
Связанные понятия
Попадание страницы в базу поиска. Пока страницы там нет, её не покажут ни по одному запросу.
Несколько адресов с одинаковым или почти одинаковым содержимым на одном сайте.
Файл в корне сайта, которым владелец говорит поисковым роботам, куда не ходить.
Ссылки между страницами одного сайта.
Повторное посещение страницы роботом поисковой системы.