Ein Crawler (oder Spider) ist ein von Robotern bedienter Computer, der automatisiert Seiten im Internet aufruft und dort relevante Informationen sammelt. Über Crawler erlangen Suchmaschinen wie Google einen Überblick über die auf einer Webseite verfügbaren Inhalte, um diese bei den Suchergebnissen zu berücksichtigen.