Crawler und Bot Entwicklung

Web Scraping in Wien und Niederösterreich

Sie möchten Daten aus dem Internet automatisch auslesen lassen und die gesammelten Informationen anschließend speziell aufbereiten? Oder suchen Sie nach einem spezialisierten Bot der im Internet z.B. wiederkehrende Arbeiten für Sie erledigt. Vielleicht möchten Sie aber einfach mehr über Ihre Konkurrenz erfahren und regelmäßig über Neuerungen oder Änderungen informiert werden. Crawler besuchen automatisiert Webseiten, „scrapen“ gewünschte Informationen und sammeln diese in Datenbanken. Abseits des passiven Besuches können Bots auf Wunsch auch mit Formularen interagieren, automatisiert E-Mails abschicken, Mausbewegungen simulieren und vieles mehr.

Der für Ihren Anwendungsfall erstellte Crawler wird  auf Ihre Ansprüche zugeschnitten und verwendet so wenig Ressourcen wie möglich. Manchmal reicht ein einsamer Crawler aber nicht aus um Informationen effektiv auslesen zu können. Crawler können in mehreren Instanzen ans Werk gehen und auf Wunsch auch unterschiedliche Proxy-Server verwenden. Jeder Crawler kann natürlich auch im Funktionsumfang erweitert werden. Möglich ist dabei z.B. das automatisierte auslesen weiterer Websites oder die Aufbereitung der gesammelten Daten in einer praktischen Web Oberfläche. Auch die Aufbereitung der gesammelten Informationen kann komplett auf die Anforderungen des Kunden angepasst werden.

Verwendete Technologien

Für die Erstellung von Crawlern nutze ich die folgenden Technologien. Jedes Projekt ist einzigartig und bietet unterschiedliche Anforderungen. Für die Umsetzung Ihres Projekts können gegebenenfalls auch andere Technologien zum Einsatz kommen. Mehr dazu erfahren Sie z.B. im persönlichen Gespräch nachdem ich mehr über Ihre Anforderungen weiß.

Python

Python ermöglicht den Einsatz des entwickelten Crawlers Plattform agnostisch. Dies bedeutet das Ihr fertiger Crawler unter Windows, Linux oder auf Wunsch auch unter OSX gestartet werden kann.

Selenium

Selenium wurde eigentlich für den Einsatz als automatisierter Softwaretest von Webanwendungen konzipiert, bietet sich aber auch für den Einsatz im Web-Scraping an.

Scrapy

Für aufwendige Projekte arbeite Ich mit dem Scrapy Framework. Mit Scrapy ist es möglich komplizierte Bots zu entwickeln die nicht nur Informationen auslesen sondern auch mit einer Website interagieren. Dies trifft z.B. bei Websites zu die Informationen erst nach einem erfolgreichen Login anzeigen.

BeautifulSoup

BeautifulSoup hilft dabei Informationen aus dem HTML Code einer Website zu extrahieren und ermöglicht gleichzeitig die bessere Lesbarkeit des Programmcodes.

Requests

Python Requests ermöglichen schnelle und ressourcensparende Aufrufe.

Headless Chrome

Websites die in Javascript entwickelt wurden sind eine besondere Herausforderung für Bots, da Inhalte oft dynamisch geladen werden. Für das Scraping dieser Websites kommen bekannte Browser zum Einsatz die zwar weitaus mehr Ressourcen benötigen dafür aber eine größere Kompatibilität bieten.

Technische Voraussetzungen

Für eine einwandfreie Funktionsweise Ihres Web-Crawlers empfiehlt sich der Einsatz eines eigenständigen Servers. Je nach Umfang des Projekts kann dies ein sogenannter virtueller oder ein eigenständiger Server sein. Gerne empfehle ich Ihnen mögliche Hosting Provider bzw. Pakete. Auf Wunsch können Server auch direkt von mir verwaltet werden.

Wartung

Um die richtige Funktionsweise Ihres Crawlers sicherstellen zu können empfehle ich regelmäßig Wartungsarbeiten durchführen zu lassen. Während dieser Wartungen wird kontrolliert ob der Crawler seine Arbeit wie gewünscht durchführt die richtigen Daten erhebt und verlässlich ausgeführt wird. Besonders bei spezialisierten Crawlern sind Nachbesserungen notwendig wenn Websites die als Datenquellen dienen z.B. ein Redesign durchlaufen und dadurch Informationen anders darstellen. Auf Wunsch können Wartungen auch erst dann durchgeführt werden, wenn der Crawler nicht mehr richtig arbeitet.

Weitere Anwendungen

Sie arbeiten an einem Projekt welches viel Arbeitszeit für besonders repetitive Arbeitsschritte verschlingt? Möglicherweise kann ich Ihnen weiterhelfen. 

Website Umzug

Ein Crawler kann nicht nur von externen Quellen Informationen sammeln. Denkbar ist zum Beispiel auch der Einsatz als Arbeitstier bei der Umstellung auf ein neues CMS. Haben Sie z.B. eine Website die derzeit aus einigen hunderten statischen HTML Seiten besteht, kann ein Bot dabei helfen die wichtigen Informationen aus jeder Datei auszulesen um die erhobenen Informationen anschließend in ein CMS zu importieren.

Price-Tracking

Sie bieten Produkte online an und möchten Ihren Kunden die besten Preise anbieten? Spezialisierte Bots können die Preise der Konkurrenz automatisch auslesen und Sie über wichtige Änderungen informieren.

Daten Import

Sie möchten z.B. Produktdaten aus dem Internet übernehmen, haben aber nicht die Zeit hunderte Datensätze händisch zu übertragen? Diese Arbeit kann ein spezialisierter Bot für Sie übernehmen.;

Daten Erhebung

Bots können speziell für Sie wichtige Daten von Websites auslesen und auswerten. Dies ermöglicht es schneller und besser auf die Konkurrenz zu reagieren und gleichzeitig Zeit zu sparen.