Zum Inhalt springen
OSULZER.AT

Webcrawler & Bot-Entwicklung.

5.0 Sternebei 34 Google-Bewertungen

Daten automatisch von Websites auslesen, aufbereiten und bereitstellen - aus Wien, für ganz Österreich.

Leistungen ansehen

Leistungen

Daten, die für dich arbeiten.

Ich entwickle Crawler und Bots, die Informationen automatisch von Websites auslesen, aufbereiten und genau dort bereitstellen, wo du sie brauchst.

Schwerpunkte

  • Scraping

    Wichtige Informationen werden automatisch von Websites ausgelesen und in der Form abgespeichert, die du brauchst - zum Beispiel als Tabelle oder direkt in einer Datenbank.

  • Aufbereitung

    Statistische Auswertungen, Datenaufbereitung, Filterung oder die Bereitstellung per API - ganz nach deinen Anforderungen.

  • Automatisierung

    Bots führen wiederkehrende Arbeitsaufgaben automatisiert aus - das spart Zeit und Nerven.

  • Spezialisierte Suchfunktionen

    Du suchst regelmäßig auf Marktplätzen nach Immobilien oder Produkten und hast dabei ganz spezielle Anforderungen? Spar dir die Arbeitszeit und lass die Listings automatisch auslesen und eingrenzen.

  • Konkurrenzanalyse

    Du wirst automatisch benachrichtigt, wenn Konkurrenten Preise oder Produkte ändern oder neue hinzufügen.

  • Daten-Umzug

    Bots helfen auch beim Umzug von statischen Websites in ein CMS: Die Seiten werden automatisiert ausgelesen und anschließend ins neue System importiert. Besonders interessant bei großen, in die Jahre gekommenen Projekten ohne Datenbank-Anbindung oder Export-Funktion.

So liest ein Crawler

Crawler extrahieren Informationen aus Websites vollautomatisiert und auf Wunsch auch KI-gestützt.

Ein Crawler besucht eine Website wie ein Besucher. Er liest den Text Zeile für Zeile, folgt jedem Link und erkennt dabei, was wichtig ist: Produktnamen, Preise, Adressen oder Termine.

Dabei hält er sich an die Spielregeln der Website: Was in der robots.txt gesperrt ist, lässt er aus, und er fragt so behutsam an, dass der Server nicht ins Schwitzen kommt.

Mit moderner Technik, etwa einem echten Browser im Hintergrund und natürlichen Pausen, verhält er sich wie ein Mensch am Bildschirm und ist von einem normalen Besucher kaum zu unterscheiden.

Was er findet, speichert er geordnet ab, etwa als Tabelle oder direkt in deiner Datenbank. Am nächsten Tag kommt er wieder und meldet nur, was sich geändert hat.

Das Wichtigste im Überblick

So arbeitet ein Crawler.

Du möchtest Daten aus dem Internet automatisch auslesen und speziell aufbereiten lassen? Ein Crawler besucht Websites, „scrapt“ die gewünschten Informationen und sammelt sie für dich - zum Beispiel in einer Datenbank.

01

Website besuchen

Der Crawler ruft die gewünschten Seiten automatisch auf - so oft und so regelmäßig, wie du es brauchst.

02

Daten auslesen

Aus jeder Seite „scrapt“ er genau die Informationen, die dich interessieren: Preise, Titel, Beschreibungen, Kontaktdaten …

03

Aufbereiten & filtern

Die Daten werden bereinigt, geprüft, gefiltert und ausgewertet - bei unstrukturierten Seiten auch mit Hilfe von KI.

04

Ausgeben

Das Ergebnis landet dort, wo du damit arbeitest:

  • CSV / Excel
  • Datenbank
  • API
  • Web-Oberfläche

Mehr als nur lesen

Abseits des passiven Besuchs können Bots auf Wunsch auch mit Websites interagieren - und so wiederkehrende Arbeiten im Internet für dich erledigen.

  • Formulare ausfüllen
  • E-Mails verschicken
  • Mausbewegungen simulieren
  • und vieles mehr

Für dich gebaut

Spezialisiert & skalierbar.

  • Zugeschnitten & ressourcenschonendDein Crawler wird auf deinen Anwendungsfall zugeschnitten und verwendet so wenig Ressourcen wie möglich.
  • Mehrere Instanzen, eigene ProxysReicht ein einsamer Crawler nicht aus, gehen mehrere Instanzen ans Werk - auf Wunsch über unterschiedliche Proxy-Server.
  • ErweiterbarJeder Crawler lässt sich im Funktionsumfang erweitern - zum Beispiel um das Auslesen weiterer Websites.
  • Daten in einer Web-OberflächeDie gesammelten Daten bereite ich auf Wunsch in einer praktischen Web-Oberfläche auf - ganz nach deinen Anforderungen.
Ein Crawler, viele WegeEin Crawler startet drei Instanzen, jede ruft die Websites über einen eigenen Proxy-Server ab.

Anwendungsideen

Wofür sich ein Bot lohnt.

Du arbeitest an einem Projekt, das viel Zeit für wiederkehrende Arbeitsschritte verschlingt? Wähle eine Anwendung und sieh dir an, wie ein Crawler dabei hilft.

Die Preise der Konkurrenz im Blick

Du bietest Produkte online an und möchtest deinen Kunden die besten Preise bieten? Spezialisierte Bots lesen die Preise der Konkurrenz automatisch aus und informieren dich über wichtige Änderungen.

Preisvergleich · täglichBeispiel
ProduktDein PreisKonkurrenz
Kaffeemühle Classic€ 89,00€ 92,50
Milchaufschäumer€ 59,00Preis geändert€ 64,00 € 54,90
Espressotassen 6er€ 34,90€ 34,90
Entkalker 1 l€ 12,90€ 13,50

Benachrichtigung an dich: 1 Preis hat sich geändert.

Aktuelles & Bewährtes

Verwendete Technologien.

Jedes Projekt ist einzigartig und hat unterschiedliche Anforderungen - je nach Aufgabe kommen auch andere Technologien zum Einsatz. Mehr dazu im persönlichen Gespräch.

  • Seiten abrufen

    Von der schnellen Einzelabfrage bis zum Bot, der sich durch ganze Websites arbeitet - in Python, plattformunabhängig.

    • Pythonläuft unter Windows, Linux oder macOS
    • httpxasynchron mit HTTP/2 - schnell bei vielen Abrufen
    • ScrapyFramework für große, robuste Crawler
  • Dynamische Seiten & Interaktion

    Für Websites, die Inhalte per JavaScript nachladen oder erst nach Login, Klicks und Eingaben zeigen.

    • Playwrightsteuert Chromium, Firefox und WebKit - wartet automatisch auf Inhalte
    • scrapy-playwrightBrowser nur dort, wo eine Seite ihn wirklich braucht
  • HTML auslesen

    Aus dem Quellcode einer Seite genau die Informationen herausholen, die du brauchst.

    • selectolaxsehr schneller HTML-Parser
    • parselpräzise mit CSS- und XPath-Selektoren
  • KI-gestützte Extraktion

    Ein Sprachmodell liest auch unstrukturierte Seiten und liefert saubere, strukturierte Daten - robust, wenn sich das Layout ändert.

    • Lokale LLMsstrukturierte Daten als JSON, ohne Cloud
    • Crawl4AIOpen-Source-Crawler, bereitet Seiten für KI auf
  • Daten & Ausgabe

    Geprüfte Datensätze, genau in dem Format, mit dem du weiterarbeitest.

    • Pydanticprüft jeden Datensatz auf Vollständigkeit und Format
    • PostgreSQL & FastAPIDatenbank oder eigene API - alternativ CSV/Excel
  • Betrieb

    Crawler laufen zeitgesteuert, isoliert und lassen sich leicht aktualisieren.

    • DockerContainer für einfache Updates
    • ZeitplanungCron oder Prefect - regelmäßig und überwacht

Betrieb & Wartung

Läuft - und bleibt am Laufen.

Ein Crawler braucht einen verlässlichen Platz zum Arbeiten und hin und wieder einen prüfenden Blick. Beides bekommst du von mir aus einer Hand.

Technische Voraussetzungen

Hosting

Damit dein Crawler einwandfrei arbeitet, empfiehlt sich ein eigenständiger Server.

  • Je nach Umfang ein virtueller oder ein eigener Server
  • Gerne empfehle ich dir passende Hosting-Provider und Pakete
  • Auf Wunsch hoste ich deinen Crawler direkt bei mir

Damit alles läuft

Wartung

Damit dein Crawler zuverlässig bleibt, empfehle ich regelmäßige Wartung.

  • Kontrolle, ob der Crawler wie gewünscht läuft und die richtigen Daten erhebt
  • Nachbesserung, wenn eine Datenquelle ein Redesign bekommt und Informationen anders darstellt
  • Auf Wunsch erst dann, wenn der Crawler nicht mehr richtig arbeitet

So funktioniert's

So arbeiten wir zusammen.

Von der ersten Idee bis zum laufenden Crawler - mit einem Ansprechpartner für Entwicklung, Hosting und Wartung.

  1. Schritt 1: Kostenloses Erstgespräch

    Wir sprechen über deine Datenquellen, die gewünschten Informationen und wofür du sie brauchst - kostenlos und unverbindlich.

  2. Schritt 2: Quelle analysieren

    Ich sehe mir die Websites genau an: Wie sind die Daten aufgebaut, werden sie per JavaScript geladen, braucht es einen Login?

  3. Schritt 3: Prototyp

    Ein erster Crawler liest Beispieldaten aus - so siehst du früh, ob die Ergebnisse deinen Vorstellungen entsprechen.

  4. Schritt 4: Entwicklung

    Der Crawler wird auf deine Ansprüche zugeschnitten, ressourcenschonend umgesetzt und die Ausgabe nach deinen Wünschen aufbereitet.

  5. Schritt 5: Hosting & Start

    Der Crawler zieht auf einen eigenen oder virtuellen Server. Gerne empfehle ich dir passende Provider - oder ich hoste ihn selbst.

  6. Schritt 6: Wartung

    Regelmäßige Kontrolle und Nachbesserung, wenn eine Quelle ihr Design ändert - oder auf Wunsch erst dann, wenn es nötig wird.

Dein Webdesigner: Oliver Sulzer

Pack ma's an!

Als langjähriger selbstständiger Programmierer entwickle ich Crawler und Bots, die dir wiederkehrende Arbeit abnehmen: Sie lesen Daten aus, bereiten sie auf und melden sich, wenn sich etwas ändert. Jeder Crawler wird auf deinen Anwendungsfall zugeschnitten - und ich bleibe auch nach dem Start dein Ansprechpartner, wenn sich eine Quelle ändert. Ich bin in Wien zu Hause und betreue Kunden in ganz Österreich.
Jahre Erfahrung
15+
abgeschlossene Projekte
50+
betreute Websites
50+
meist innerhalb eines Werktages
Reaktion
Oliver SulzerWebdesigner & Webentwickler aus Wien, über 15 Jahre Erfahrung

Ratgeber zu diesem Thema

Aus dem Blog.

Anleitungen und Lösungen aus echten Projekten - passend zu dieser Leistung, zum Nachlesen oder Selbermachen.

Code4 Min. Lesezeit

Python Grundbuchauszugs-Parser „2.0“

Python Grundbuchauszug-Parser 2.0: Die erweiterte Version von Philipp Strasser liest mehrere Grundbuchauszüge per GUI ein und ist breiter getestet.

Alle ArtikelAlle 47
Artikel lesen

Gut zu wissen

Webcrawler & Bots.

Login-geschützte Seiten, JavaScript, Skalierung, Server und Wartung: Hier die häufigsten Fragen zu Crawlern und Bots.

Möglichkeiten

Kann ein Crawler auch Seiten auslesen, die erst nach einem Login sichtbar sind?

Ja. Mit Playwright steuert der Bot einen echten Browser, meldet sich an, klickt und füllt Formulare aus - und liest danach die Inhalte aus, die erst nach dem Login sichtbar sind. Für große Projekte kombiniere ich das mit dem Framework Scrapy.

Funktioniert das auch bei Websites, die mit JavaScript gebaut sind?

Ja. Solche Websites sind eine Herausforderung, weil Inhalte oft dynamisch nachgeladen werden. Dafür setze ich Playwright ein: Es steuert einen echten Browser und wartet automatisch, bis die Inhalte geladen sind. Weil ein Browser mehr Ressourcen braucht, kommt er nur dort zum Einsatz, wo eine Seite ihn wirklich benötigt.

Kann KI beim Auslesen helfen?

Ja. Bei unstrukturierten Seiten - etwa Produktbeschreibungen oder Kontaktdaten in Fließtext - liest ein Sprachmodell die Inhalte und liefert sie als saubere, strukturierte Daten. Das bleibt auch dann robust, wenn sich das Layout einer Seite ändert. Auf Wunsch läuft das Modell lokal auf deiner eigenen Hardware, ganz ohne Cloud.

Was ist, wenn ein einzelner Crawler nicht ausreicht?

Dann geht der Crawler in mehreren Instanzen ans Werk - auf Wunsch auch über unterschiedliche Proxy-Server. Außerdem lässt sich jeder Crawler im Funktionsumfang erweitern, zum Beispiel um weitere Websites oder eine Web-Oberfläche für die gesammelten Daten.

Technik & Betrieb

Welche technischen Voraussetzungen brauche ich?

Für eine einwandfreie Funktion empfiehlt sich ein eigenständiger Server - je nach Umfang ein virtueller oder ein eigener Server. Gerne empfehle ich dir passende Hosting-Provider und Pakete. Auf Wunsch hoste ich den Crawler auch direkt bei mir.

Läuft der Crawler unter Windows, Linux oder macOS?

Ja, auf allen drei. Weil ich Crawler in Python entwickle, sind sie plattformunabhängig und lassen sich unter Windows, Linux oder auf Wunsch auch unter macOS starten.

Braucht ein Crawler Wartung?

Ich empfehle regelmäßige Wartung. Dabei kontrolliere ich, ob der Crawler zuverlässig läuft und die richtigen Daten erhebt. Besonders bei spezialisierten Crawlern sind Nachbesserungen nötig, wenn eine Website, die als Datenquelle dient, ein Redesign bekommt und Informationen anders darstellt. Auf Wunsch kümmere ich mich auch erst dann darum, wenn der Crawler nicht mehr richtig arbeitet.

Das sagen meine Kunden.

34 Bewertungen, alle mit 5 Sternen - von Shops, Agenturen, Start-ups und Hochschulen.

„Mehr als nur 5 Sterne verdient“

Wir sind Betroffene von der aktuellen Google Fonts Abmahnwelle. Unsere alte Website entsprach nicht der DSGVO und eine Anpassung war technisch nicht mehr machbar. Es musste also ganz rasch kompetente Hilfe her, quasi eine „Internetfeuerwehr“ :-) Oliver hat die Dringlichkeit erkannt und innerhalb kürzester Zeit unsere Seite - nicht nur - nachgebaut, sondern gleichzeitig modernisiert, etwas peppiger gemacht und - das ist am wichtigsten - DSGVO-konform umgesetzt. Oliver hat sich als zuverlässiger und termintreuer Partner mehr als nur 5 Sterne verdient. Weiter so Oliver, wir bleiben Dir sicher auch in Zukunft treu! Beste Grüße von Geri und Manuela

Lack & LederBewertung auf Google
Google

5.0

34 Bewertungen auf Google

„Top Umsetzung aller Vorstellungen - unkompliziert und genau!! Danke dafür :)“

Doris P.

„alles easy, schnell und zuverlässig.“

Isabella fteval

„Guter und schneller Support. Sehr zufriedenstellend!“

Bertram H.

Vertrauen von Unternehmen, Agenturen & Bildungseinrichtungen

Vom Einzelunternehmen bis zur Hochschule - Websites, Onlineshops und WordPress-Betreuung.

  • Hochschule Campus Wien
  • PHH Rechtsanwälte
  • Pfeffer & Partner
  • RAVN

„Freundlicher Kontakt, professionelle Umsetzung und direkter telefonischer Kontakt!“

Jürgen K.
Alle StimmenAlle 34
Bewertungen lesen

Neues Projekt?

Kontakt.

Erzähl mir kurz von deinem Vorhaben - ich melde mich persönlich bei dir.

Deine Daten werden ausschließlich zur Bearbeitung deiner Anfrage verarbeitet. Mehr dazu in der Datenschutzerklärung.