Robots.txt

файл «robots.txt»
 Текстовый файл, расположенный на веб-сайте (Site) и предназначенный для роботов поисковых систем (Spider). Его цель — запретить поисковым роботам индексировать страницы веб-сайтов (Web Page) с информацией, которая не должна стать публичной. В этом файле веб-мастер (Webmaster) может указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы в отдельности. Таким образом владелец сайта или веб-мастер всегда может предпринять меры для того, чтобы поисковые роботы обходили стороной страницы, содержимое которых не должно попасть в открытый доступ поисковых систем.
Смотри также security by obscurity, Robots Exclusion Standard, robots, Deep Web
🔗 Использование robots.txt (Rus)

— Игорь Мостицкий (обсуждение) 15:26, 9 января 2026 (MSK)