Crawler und Bot Entwicklung

In Wien und Niederösterreich

Scraping

Lassen Sie wichtige Informationen automatisch von Websites auslesen und in einer von Ihnen gewünschten Form speichern.

Aufbereitung

Erhobene Daten können passend für Ihr Einsatzgebiet gespeichert und aufbereitet werden. Auf Wunsch sind statistische Auswertungen, Interaktionen und weitere Schnittstellen möglich.

Automatisierung

Bots können wiederkehrende Arbeitsaufgaben automatisiert ausführen. Sie sparen dadurch Zeit und Nerven.

Spezialisierte Suchfunktionen

Sie suchen regelmäßig auf Marktplätzen nach Immobilien oder Produkten und haben dabei ganz spezielle Anforderungen? Sparen Sie Arbeitszeit und lassen Sie Listungen automatisch auslesen und eingrenzen.

Konkurrenz Analyse

Bots können wiederkehrende Arbeitsaufgaben automatisiert ausführen. Sie sparen dadurch Zeit und Nerven.

Daten Umzug

Bots können auch beim Umzug von statischen Websites in CMS-Systeme eingesetzt werden. Statische Seiten werden dabei automatisiert ausgelesen und anschließend in neue Systeme importiert. Besonders interessant bei großen in die Jahre gekommenen Seiten ohne Export-Funktionen.

Web Scraping in Wien und Niederösterreich

Sie möchten Daten aus dem Internet automatisch auslesen lassen und die gesammelten Informationen anschließend speziell aufbereiten? Oder suchen Sie nach einem spezialisierten Bot der im Internet z.B. wiederkehrende Arbeiten für Sie erledigt. Vielleicht möchten Sie aber einfach mehr über Ihre Konkurrenz erfahren und regelmäßig über Neuerungen oder Änderungen informiert werden. Crawler besuchen automatisiert Webseiten, „scrapen“ gewünschte Informationen und sammeln diese in Datenbanken. Abseits des passiven Besuches können Bots auf Wunsch auch mit Formularen interagieren, automatisiert E-Mails abschicken, Mausbewegungen simulieren und vieles mehr.

Spezialisiert und Skalierbar

Der für Ihren Anwendungsfall erstellte Crawler wird  auf Ihre Ansprüche zugeschnitten und verwendet so wenig Ressourcen wie möglich. Manchmal reicht ein einsamer Crawler aber nicht aus um Informationen effektiv auslesen zu können. Crawler können in mehreren Instanzen ans Werk gehen und auf Wunsch auch unterschiedliche Proxy-Server verwenden. Jeder Crawler kann natürlich auch im Funktionsumfang erweitert werden. Möglich ist dabei z.B. das automatisierte auslesen weiterer Websites oder die Aufbereitung der gesammelten Daten in einer praktischen Web Oberfläche. Auch die Aufbereitung der gesammelten Informationen kann komplett auf die Anforderungen des Kunden angepasst werden.

Verwendete Technologien

Für die Erstellung von Crawlern nutze ich die folgenden Technologien. Jedes Projekt ist einzigartig und bietet unterschiedliche Anforderungen. Für die Umsetzung Ihres Projekts können gegebenenfalls auch andere Technologien zum Einsatz kommen. Mehr dazu erfahren Sie z.B. im persönlichen Gespräch nachdem ich mehr über Ihre Anforderungen weiß.

Python

Python ermöglicht den Einsatz des entwickelten Crawlers Plattform agnostisch. Dies bedeutet das Ihr fertiger Crawler unter Windows, Linux oder auf Wunsch auch unter OSX gestartet werden kann.

Selenium

Selenium wurde eigentlich für den Einsatz als automatisierter Softwaretest von Webanwendungen konzipiert, bietet sich aber auch für den Einsatz im Web-Scraping an.

Scrapy

Für aufwendige Projekte arbeite Ich mit dem Scrapy Framework. Mit Scrapy ist es möglich komplizierte Bots zu entwickeln die nicht nur Informationen auslesen sondern auch mit einer Website interagieren. Dies trifft z.B. bei Websites zu die Informationen erst nach einem erfolgreichen Login anzeigen.

BeautifulSoup

BeautifulSoup hilft dabei Informationen aus dem HTML Code einer Website zu extrahieren und ermöglicht gleichzeitig die bessere Lesbarkeit des Programmcodes.

Requests

Python Requests ermöglichen schnelle und ressourcensparende Aufrufe.

Headless Chrome

Websites die in Javascript entwickelt wurden sind eine besondere Herausforderung für Bots, da Inhalte oft dynamisch geladen werden. Für das Scraping dieser Websites kommen bekannte Browser zum Einsatz die zwar weitaus mehr Ressourcen benötigen dafür aber eine größere Kompatibilität bieten.

Technische Voraussetzungen

Für eine einwandfreie Funktionsweise Ihres Web-Crawlers empfiehlt sich der Einsatz eines eigenständigen Servers. Je nach Umfang des Projekts kann dies ein sogenannter virtueller oder ein eigenständiger Server sein. Gerne empfehle ich Ihnen mögliche Hosting Provider bzw. Pakete. Auf Wunsch können Server auch direkt von mir verwaltet werden.

Wartung

Um die richtige Funktionsweise Ihres Crawlers sicherstellen zu können empfehle ich regelmäßig Wartungsarbeiten durchführen zu lassen. Während dieser Wartungen wird kontrolliert ob der Crawler seine Arbeit wie gewünscht durchführt die richtigen Daten erhebt und verlässlich ausgeführt wird. Besonders bei spezialisierten Crawlern sind Nachbesserungen notwendig wenn Websites die als Datenquellen dienen z.B. ein Redesign durchlaufen und dadurch Informationen anders darstellen. Auf Wunsch können Wartungen auch erst dann durchgeführt werden, wenn der Crawler nicht mehr richtig arbeitet.

Weitere Anwendungen

Sie arbeiten an einem Projekt welches viel Arbeitszeit für besonders repetitive Arbeitsschritte verschlingt? Möglicherweise kann ich Ihnen weiterhelfen. 

Website Umzug

Ein Crawler kann nicht nur von externen Quellen Informationen sammeln. Denkbar ist zum Beispiel auch der Einsatz als Arbeitstier bei der Umstellung auf ein neues CMS. Haben Sie z.B. eine Website die derzeit aus einigen hunderten statischen HTML Seiten besteht, kann ein Bot dabei helfen die wichtigen Informationen aus jeder Datei auszulesen um die erhobenen Informationen anschließend in ein CMS zu importieren.

Price-Tracking

Sie bieten Produkte online an und möchten Ihren Kunden die besten Preise anbieten? Spezialisierte Bots können die Preise der Konkurrenz automatisch auslesen und Sie über wichtige Änderungen informieren.

Daten Import

Sie möchten z.B. Produktdaten aus dem Internet übernehmen, haben aber nicht die Zeit hunderte Datensätze händisch zu übertragen? Diese Arbeit kann ein spezialisierter Bot für Sie übernehmen.;

Daten Erhebung

Bots können speziell für Sie wichtige Daten von Websites auslesen und auswerten. Dies ermöglicht es schneller und besser auf die Konkurrenz zu reagieren und gleichzeitig Zeit zu sparen.
Nachricht wird gesendet...

Kontaktformular

Ihre Daten werden ausschließlich zur Bearbeitung Ihrer Anfrage verarbeitet. Mehr Informationen erhalten Sie in unserer Datenschutzerklärung

Direkt

office@osulzer.at
+43 660 370 3392
Bürozeiten:
Montag - Freitag: 9 - 19 Uhr
Samstag: 9 - 16 Uhr

Im Notfall auch am Wochenende erreichbar

Melde an...

Login

Passwort vergessen?

Cookie Einstellungen

Sie haben die Möglichkeit Cookies zu deaktivieren die nicht unbedingt von dieser Website benötigt werden.

Benötigte Cookies

Diese Seite nutzt Cookies um die Nutzererfahrung zu verbessern, Funktionen bereitzustellen und um die allgemeine Sicherheit für Besucher und Kunden zu verbessern. Diese Option ist für die Funktionstüchtigkeit unserer Website erforderlich und kann deshalb nicht deaktiviert werden.
Details
"osulzer_session" Das Session Cookie speichert wichtige Einstellungen die Sie während des Besuchs auf dieser Seite treffen. Dieses Cookie speichert keine persönlichen Daten und wird nicht für statistische Zwecke eingesetzt.
"XSRF-TOKEN" Für Ihren Besuch wird Ihnen ein einzigartiger temporärer Sicherheitsschlüssel zugewiesen der bei Eingabefeldern (Kontaktformular, Kommentarformular) abgefragt wird. Dies erhöht die Sicherheit aller Anfragen.
"osulzer_cookie_consent" Speichert Ihre Privatspähre-Einstellung zu optionalen Cookies auf dieser Website

Analyse und Benutzerfreundlichkeit

Um Besucherzahlen auf unserer Website analysieren zu können nutzen wir das Analyse-Tool Matomo. Dieses Tool erzeugt Cookies die dabei helfen das Besucherverhalten zu analyiseren. Dadurch ist es uns möglich den Aufbau unserer Seite zu optimieren und wichtige Informationen schneller und besser zur Verfügung zu stellen. Alle erhobenen Statistiken werden anonymisiert abgespeichert.
Details
"_pk_id.***", "_pk_ses***", "PIWIK_SESSID" Die folgenden Cookies werden gesetzt um Ihren Besuch auf dieser Website statistisch auswerten zu können. Ihre IP-Adresse wird dabei anonymisiert und ist dadurch nicht mit Ihnen in Verbindung zu bringen. Als Beispiel, die IP-Adresse 192.168.10.155 wird anonymsiert indem die letzten 2 bytes maskiert werden. Die IP-Adresse wird in unserem System also als 192.168.xxx.xxx gespeichert.