Что такое «робот поисковой системы»? Робот поисковой системы – это специальная HTTP-программа поисковой системы, которая используется для сбора данных со всех страниц в Интернет и занесения их в базу поисковика. Робот-паук регулярно сканирует известные ему URL, вычитывая обновления страниц, переходит по находящимся на них ссылкам на новые, еще непроиндексированные им ресурсы, и добавляет их в свою базу. Робот поисковой системы (crawler) постоянно пополняет базу поисковой машины тысячами новых страниц. Поисковая машина Яндекс имеет 11 типов роботов-пауков, Google – 7.