Robots Exclusion Standard

«Стандарт исключений для роботов»
 Создан для управления активностью поисковых роботов (Spider) на веб-сайтах (Site). Благодаря ему разработчик имеет возможность выбирать одну из двух глобальных стратегий: «роботам разрешено индексировать всё, что не запрещено» или «запрещено всё, что не разрешено». Отсутствие такого файла или его незаполненность (нулевая длина) автоматически приравнивается к выбору первого варианта. Эти правила можно задавать как для всех поисковых роботов вместе взятых (User-agent: *), так и выбирая конкретных пауков, например Yandex для «Яндекса», Googlebot для Google, bingbot для Bing и так далее.
Смотри также Deep Web, noindex, nofollow, noarchive, Robots Exclusion Standard

— Игорь Мостицкий (обсуждение) 15:26, 9 января 2026 (MSK)