Crawler – jiný výraz pro robota, což automatizovaný program vyhledávače, který prochází internet a prozkoumává internetové stránky, následuje jejich odkazy, shromažďuje jejich textový obsah a vše ukládá do databáze. Roboti pravidelně monitorují internet a aktualizují databáze internetových vyhledávačů.






