Паук

Паук (краулер, бот, робот поисковика) – программа поисковой системы, сканирующая страницы, размещенные в сети Интернет.

Принцип действия паука напоминает работу обычного браузера. Попадая на сайт, паук переходит по ссылкам, существующим на каждой странице сайта, просматривает и копирует информацию на них. Информация содержащаяся на страницах сохраняется в специальной базе данных поисковой системы.

Алгоритмы, индивидуальные для каждой поисковой системы, определяют порядок просматривания страниц, частоту визитов, и по каким критериям будет выделяться значимая информация. В большинстве случаев паук переходит от страницы к странице по ссылкам, которые на них содержатся. Кроме того, алгоритмами поисковых систем может задаваться глубина просмотра страниц вглубь сайта и максимальный объем сканируемого текста. Вследствие чего, слишком громоздкие сайты могут быть проиндексированы поисковой системой не полностью или индексироваться очень длительное время.

Проследить, какие страницы были просмотрены пауком, можно при помощи логов сервера и систем статистики. Маршрутом передвижения паука по внутренним ссылкам сайта можно управлять, задавая необходимые параметры в файле robots.txt.