Robots.txt: различия между версиями
м Замена текста — «↵<p><span>» на «<span>» |
м Замена текста — «]]</span>» на «]]» |
||
| Строка 1: | Строка 1: | ||
<span>[[Категория: интернет]] | <span>[[Категория: интернет]] <span>[[Категория: программы]] <span>[[Категория: безопасность]]<span style="color: indigo;">файл «robots.txt»</span><br/><span style="color: darkslategray;"> Текстовый файл, расположенный на веб-сайте ([[Site]]) и предназначенный для роботов поисковых систем ([[Spider]]). Его цель — запретить поисковым роботам индексировать страницы веб-сайтов ([[Web Page]]) с информацией, которая не должна стать публичной. В этом файле веб-мастер ([[Webmaster]]) может указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы в отдельности. Таким образом владелец сайта или веб-мастер всегда может предпринять меры для того, чтобы поисковые роботы обходили стороной страницы, содержимое которых не должно попасть в открытый доступ поисковых систем.</span><br/><i>Смотри также</i> [[security by obscurity]], [[Robots Exclusion Standard]], [[robots]], [[Deep Web]]<br/>🔗 [http://help.yandex.ru/webmaster/?id=996567 Использование robots.txt] <span style="color: darkslategray;">(<i>Rus</i>)</span><br/><br/>— [[Участник:Игорь Мостицкий|Игорь Мостицкий]] ([[Обсуждение участника:Игорь Мостицкий|обсуждение]]) 15:26, 9 января 2026 (MSK) | ||
Текущая версия от 15:25, 24 января 2026
файл «robots.txt»
Текстовый файл, расположенный на веб-сайте (Site) и предназначенный для роботов поисковых систем (Spider). Его цель — запретить поисковым роботам индексировать страницы веб-сайтов (Web Page) с информацией, которая не должна стать публичной. В этом файле веб-мастер (Webmaster) может указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы в отдельности. Таким образом владелец сайта или веб-мастер всегда может предпринять меры для того, чтобы поисковые роботы обходили стороной страницы, содержимое которых не должно попасть в открытый доступ поисковых систем.
Смотри также security by obscurity, Robots Exclusion Standard, robots, Deep Web
🔗 Использование robots.txt (Rus)
— Игорь Мостицкий (обсуждение) 15:26, 9 января 2026 (MSK)
