Ein Crawler besucht eine Website wie ein Besucher. Er liest den Text Zeile für Zeile, folgt jedem Link und erkennt dabei, was wichtig ist: Produktnamen, Preise, Adressen oder Termine.
Dabei hält er sich an die Spielregeln der Website: Was in der robots.txt gesperrt ist, lässt er aus, und er fragt so behutsam an, dass der Server nicht ins Schwitzen kommt.
Mit moderner Technik, etwa einem echten Browser im Hintergrund und natürlichen Pausen, verhält er sich wie ein Mensch am Bildschirm und ist von einem normalen Besucher kaum zu unterscheiden.
Was er findet, speichert er geordnet ab, etwa als Tabelle oder direkt in deiner Datenbank. Am nächsten Tag kommt er wieder und meldet nur, was sich geändert hat.