Robots Exclusion Standard

Материал из Encyclopedia Electronica
Версия от 15:26, 9 января 2026; Игорь Мостицкий (обсуждение | вклад) (Новая страница: « <p><span>Категория: интернет</span> <span>Категория: программы</span> <span>Категория: безопасность</span><span style="color: indigo;">«Стандарт исключений для роботов»</span><br/><span style="color: darkslategray;"> Создан для управления активностью поисковых роботов (Spider) на веб-сайтах (Site...»)
(разн.) ← Предыдущая версия | Текущая версия (разн.) | Следующая версия → (разн.)

«Стандарт исключений для роботов»
 Создан для управления активностью поисковых роботов (Spider) на веб-сайтах (Site). Благодаря ему разработчик имеет возможность выбирать одну из двух глобальных стратегий: «роботам разрешено индексировать всё, что не запрещено» или «запрещено всё, что не разрешено». Отсутствие такого файла или его незаполненность (нулевая длина) автоматически приравнивается к выбору первого варианта. Эти правила можно задавать как для всех поисковых роботов вместе взятых (User-agent: *), так и выбирая конкретных пауков, например Yandex для «Яндекса», Googlebot для Google, bingbot для Bing и так далее.
Смотри также Deep Web, noindex, nofollow, noarchive, Robots Exclusion Standard

— Игорь Мостицкий (обсуждение) 15:26, 9 января 2026 (MSK)

Источник — https://wiki.1963.ru/index.php?title=Robots_Exclusion_Standard&oldid=32501