Поисковые роботы (боты) — программы, входящие в состав программного обеспечения поисковой машины.
Поисковые роботы занимаются индексацией страниц — скачивают страницы и заносят в индекс. Интеллектуальный поисковый робот может определить, изменялась ли страница с прошлого посещения и стоит ли тратить время и компьютерные ресурсы на повторную индексацию страницы.
