Crawler

[ˈkrɔːlə]
букв. «ползун»
поисковая система, кролер, робот
 Одна из двух основных частей поисковой машины (Search Engine). Представляет собой сложную систему обновления индекса поисковой машины. Постоянно исследует Internet с целью пополнения своих баз данных (DB) новыми документами, для чего посещает WWW-сервера во всём мире и загружает с них все доступные документы, анализирует содержимое и включает документы в индекс. Обычно это не требует никаких усилий со стороны человека. Примером может быть поисковая система Google, Yandex, AltaVista. Для поисковых систем важна конструкция каждого документа, также большое значение имеют title, meta-теги и содержимое страницы.
Смотри также Excite Search, HotBot, InfoSeek, Lycos, OpenText, WebCrawler, Yahoo

— Игорь Мостицкий (обсуждение) 13:30, 9 января 2026 (MSK)