Webcrawler und Bot Entwicklung

In Wien und Niederösterreich

Scraping

Wichtige Informationen automatisch von Websites auslesen lassen und in gewünschter Form abspeichern.

Aufbereitung

Statistische Auswertungen, Datenaufbereitung, Filterung oder Bereitstellung per API.

Automatisierung

Bots können wiederkehrende Arbeitsaufgaben automatisiert ausführen, das spart Zeit und Nerven.

 
Spezialisierte Suchfunktionen

Du suchst regelmäßig auf Marktplätzen nach Immobilien oder Produkten und hast dabei ganz spezielle Anforderungen? Spare Sie Arbeitszeit und lassen Sie Listings automatisch auslesen und eingrenzen.

Konkurrenz Analyse

Automatische Benachrichtigung wenn Konkurrenten Preise oder Produkte ändern bzw. neu hinzufügen.

Daten Umzug

Bots können auch beim Umzug von statischen Websites in CMS-Systeme eingesetzt werden. Statische Seiten werden dabei automatisiert ausgelesen und anschließend in neue Systeme importiert. Besonders interessant bei großen in die Jahre gekommenen Projekten ohne Datenbank-Anbindung oder Export-Funktionen.

Das wichtigste im Überblick

Webcrawler und Bot Entwicklung in Wien und Niederösterreich

Du möchtest Daten aus dem Internet automatisch auslesen lassen und die gesammelten Informationen anschließend speziell aufbereiten? Oder suchst du nach einem spezialisierten Bot der im Internet z.B. wiederkehrende Arbeiten für erledigt? Vielleicht möchten du ja einfach mehr über deine Konkurrenz erfahren und regelmäßig über Neuerungen oder Änderungen informiert werden. Crawler besuchen automatisiert Websites, „scrapen“ gewünschte Informationen und sammeln diese in Datenbanken. Abseits des passiven Besuches können Bots auf Wunsch auch mit Formularen interagieren, automatisiert E-Mails abschicken, Mausbewegungen simulieren und vieles mehr.

Spezialisiert und Skalierbar

Der für deinen Anwendungsfall erstellte Crawler wird  auf deine Ansprüche zugeschnitten und verwendet so wenig Ressourcen wie möglich. Manchmal reicht ein einsamer Crawler aber nicht aus um Informationen effektiv auslesen zu können. Crawler können in mehreren Instanzen ans Werk gehen und auf Wunsch auch unterschiedliche Proxy-Server verwenden. Jeder Crawler kann natürlich auch im Funktionsumfang erweitert werden. Möglich ist dabei z.B. das automatisierte auslesen weiterer Websites oder die Aufbereitung der gesammelten Daten in einer praktischen Web Oberfläche. Auch die Aufbereitung der gesammelten Informationen kann komplett auf die Anforderungen des Kunden angepasst werden.

Aktuelles & Bewährtes
Verwendete Technologien

Für die Erstellung von Crawlern nutze ich die folgenden Technologien. Jedes Projekt ist einzigartig und bietet unterschiedliche Anforderungen. Für die Umsetzung deines Projekts können gegebenenfalls auch andere Technologien zum Einsatz kommen. Mehr dazu erfährst du z.B. im persönlichen Gespräch.

Python

Python ermöglicht den Einsatz des entwickelten Crawlers Plattform agnostisch. Der fertige Crawler kann dadurch unter Windows, Linux oder auf Wunsch auch unter OSX gestartet werden kann.

Selenium

Selenium wurde eigentlich für den Einsatz als automatisierter Softwaretest von Webanwendungen konzipiert, bietet sich aber auch für den Einsatz im Web-Scraping an.

Scrapy

Für aufwendige Projekte arbeite Ich mit dem Scrapy Framework. Mit Scrapy ist es möglich komplizierte Bots zu entwickeln die nicht nur Informationen auslesen sondern auch mit einer Website interagieren. Dies trifft z.B. bei Websites zu die Informationen erst nach einem erfolgreichen Login anzeigen.

BeautifulSoup

BeautifulSoup hilft dabei Informationen aus dem HTML Code einer Website zu extrahieren und ermöglicht gleichzeitig die bessere Lesbarkeit des Programmcodes.

Requests

Python Requests ermöglichen schnelle und ressourcensparende Aufrufe.

Headless Chrome

Websites die in Javascript entwickelt wurden sind eine besondere Herausforderung für Bots, da Inhalte oft dynamisch geladen werden. Für das Scraping dieser Websites kommen bekannte Browser zum Einsatz die zwar weitaus mehr Ressourcen benötigen dafür aber eine größere Kompatibilität bieten.

Technische Voraussetzungen

Für eine einwandfreie Funktionsweise des Web-Crawlers empfiehlt sich der Einsatz eines eigenständigen Servers. Je nach Umfang des Projekts kann dies ein sogenannter virtueller oder ein eigenständiger Server sein. Gerne empfehle ich Ihnen mögliche Hosting Provider bzw. Pakete. Auf Wunsch können Projekte auch direkt von mir gehosted werden.

Wartung

Um die richtige Funktionsweise Ihres Crawlers garantieren zu können empfehle ich regelmäßig Wartungsarbeiten durchführen zu lassen. Während dieser Wartungen wird kontrolliert ob der Crawler seine Arbeit wie gewünscht durchführt die richtigen Daten erhebt und verlässlich ausgeführt wird. Besonders bei spezialisierten Crawlern sind Nachbesserungen notwendig wenn Websites die als Datenquellen dienen z.B. ein Redesign durchlaufen und dadurch Informationen anders darstellen. Auf Wunsch können Wartungen auch erst dann durchgeführt werden, wenn der Crawler nicht mehr richtig arbeitet.

Anwendungsideen
Weitere Anwendungen

Du arbeitest an einem Projekt das viel Arbeitszeit für besonders repetitive Arbeitsschritte verschlingt? Möglicherweise kann ich dir weiterhelfen. 

Website Umzug
Ein Crawler kann nicht nur von externen Quellen Informationen sammeln. Denkbar ist zum Beispiel auch der Einsatz als Arbeitstier bei der Umstellung auf ein neues CMS. Hat man z.B. eine Website die aus einigen hunderten statischen HTML Seiten besteht, kann ein Bot dabei helfen die wichtigen Informationen aus jeder Datei auszulesen um die erhobenen Informationen anschließend in ein CMS zu importieren.
Price-Tracking
Du bietest Produkte online an und möchtest deinen Kunden die besten Preise anbieten? Spezialisierte Bots können die Preise der Konkurrenz automatisch auslesen und dich über wichtige Änderungen informieren.
 
Daten Import
Du möchten z.B. Produktdaten aus dem Internet übernehmen, hast aber nicht die Zeit hunderte Datensätze händisch zu übertragen? Diese Arbeit kann ein spezialisierter Bot für dich übernehmen.
 
Daten Erhebung
Bots können wichtige Daten von Websites auslesen und auswerten. Dies ermöglicht es schneller und besser auf die Konkurrenz zu reagieren und gleichzeitig Zeit zu sparen.
Genug gelesen, sprechen wir über dein Projekt.

Schick mir einfach eine E-Mail oder melde dich direkt telefonisch. Es gibt keine Hotline, mit der unten angegeben Nummer hast du einen direkten Draht zu mir.

Deine Daten werden ausschließlich zur Bearbeitung deiner Anfrage verarbeitet. Mehr Informationen findest du in der Datenschutzerklärung.
Website Relaunch

WordPress

WordPress erfreut sich seit einigen Jahren einer immer größeren Beliebtheit. Mittlerweile ist das CMS sogar das am weitest verbreitetste Publishing System. Neben der Umsetzung Ihres Designs als eigenständiges Theme biete ich auch die Entwicklung spezialisierter Plugins.

FullStack Entwicklung

Laravel

laravel

Spezialisierte Lösungen für viele Anwendungsgebiete. Mithilfe von Laravel setze ich aufwändige Web-Projekte um. Funktionelle Lösungen für dein Unternehmen, API-Schnittstellen oder Kundenbereiche. Erfahre was alles möglich ist.

Kontakt
Ihre Daten werden ausschließlich zur Bearbeitung Ihrer Anfrage verarbeitet. Mehr Informationen findest du in unserer Datenschutzerklärung

Bürozeiten:
Montag – Freitag: 9 – 19 Uhr
Samstag: 9 – 16 Uhr

Im Notfall auch am Wochenende erreichbar