C

Ein Crawler ist ein Programm, das das Internet automatisch durchsucht, Webseiten analysiert und bestimmte Daten speichert. Weitere häufig genutzte Bezeichnungen für das Computerprogramm sind Spider und Robot. Hauptsächlich werden die Bots (abgeleitet vom Begriff Robot) von Suchmaschinen genutzt, um ihre Datenbank zu erweitern. Dabei erhält das Programm von der Suchmaschine verschiedene Webadressen, die nacheinander aufgerufen werden. Der Crawler speichert die sich auf der Seite befindenden Informationen ab und sucht nach neuen Links, die daraufhin besucht werden.