robots.txt
Файл в корне сайта, которым владелец говорит поисковым роботам, куда не ходить.
Это указание об обходе, а не о показе. Закрытая в robots.txt страница может остаться в выдаче, если на неё ссылаются, — просто поиск не будет знать её содержимого. Чтобы убрать страницу из поиска, нужен запрет индексации в самой странице, а не в этом файле.
Самая дорогая ошибка здесь — закрыть лишнее. Одна строка вида «Disallow: /catalog/» способна вынести из поиска весь каталог, и заметить это можно через месяцы.
Закрытая в robots.txt страница может остаться в выдаче. Файл запрещает обход, а не показ: если на страницу ведут ссылки, поисковик покажет её без описания, потому что прочитать содержимое ему запрещено. Убирать из индекса надо метатегом noindex, оставив обход открытым.
После любой правки robots.txt проверьте несколько важных адресов на доступность для робота — в панели поиска для этого есть отдельный инструмент.
Связанные понятия
Попадание страницы в базу поиска. Пока страницы там нет, её не покажут ни по одному запросу.
Список адресов сайта в машиночитаемом виде: подсказка роботу, что обходить.
Сколько страниц сайта поисковый робот успевает обойти за один заход. Ресурс ограниченный, и его легко потратить впустую.