Spider
Spider sind Skripte, welche Inserate oder Angebote auf Zielwebseiten sammeln und sie auf unseren Servern speichern.
Spideralgorithmen[Bearbeiten]
Typenzuordnung[Bearbeiten]
Spider machen die Typenzuordnung auf zwei Arten, welche von der jeweiligen Quelle abhängt:
- anhand vom Typesub: Dabei übernehmen die Spider den von der Quelle zugeordneten Typ
- anhand vom Inserat in der Reihenfolge Titel, Typesub oder Beschreibung
Spidering-Modi[Bearbeiten]
- Delta-Spidering: Spider merkt mittels Logiken, ob ein Inserat bereits heruntergeladen wurde. Es wird erst heruntergeladen, wenn Änderungen gemacht wurden. So kann unnötiger Traffic vermieden werden.
Spiderarten[Bearbeiten]
Aktuell wird Spiderung für zweierlei verwendet: Für das Spidering von Immobilieninseraten und für Webshops.
Spidering von Immobilieninseraten[Bearbeiten]
Immobilieninserate werden anhand der Postleitzahl und der Zimmerangaben gespidert.
Spidering von Webshops[Bearbeiten]
Webshops werden nach Kategorien pro Quelle gespidert. Die Suchaufträge sind in der Tabelle 192.168.100.102:8081/app_dev.php/showtable/SpideringResultlist gespeichert. Filtern nach Quelle zeigt alle Suchaufträge der entsprechenden Quelle an. Die gespiderten Produkte werden in der Tabelle http://192.168.100.102:8081/app.php/showtable/SpiderProduct gespeichert.
Qualitätskontrolle
Um das Spidering auf Vollständigkeit zu prüfen sollten die Anzahl Produkte einer Quelle, die in der Tabelle gespeichert sind, mit den Anzahl Produkten im Webshop verglichen werden. Dazu wie folgt vorgehen:
- Mittels Filtern der Produktliste alle Inserate der letzten 2-3 Tage der zu prüfenden Quelle anzeigen und die Gesamtzahl merken.
- Mittels Filtern der Resultlist alle Aufträge für die zu prüfenden Quelle anzeigen.
- Sämtliche Einträge der gefilterten Resultlist in einem Browser durchgehen und jeweils die Anzahl Produkte notieren (am besten in einem Tabellenverarbeitungsprogramm wie Excel)
- Anzahl Produkte summieren und mit der Gesamtzahl aus Schritt 1 vergleichen. Weicht die Zahl mehr als 10% ab, dann kann Optimierungsbedarf bestehen
Erkennen des Blockverfahrens[Bearbeiten]
Verkrüppelter Javascripcode (obfuscation) entkrüppeln (Deobfuscation)[Bearbeiten]
Tests um Bots oder Browser zu erkennen[Bearbeiten]
- https://abrahamjuliot.github.io/creepjs/
- https://arkenfox.github.io/TZP/
- https://deviceandbrowserinfo.com/info_device
- https://fingerprintjs.github.io/BotD/main/
- https://www.amiunique.org/fingerprint
- https://www.browserscan.net/
Spiderdienstleistungen von Dritten[Bearbeiten]
Fullservice angebot[Bearbeiten]
- https://www.anybigdata.com/
- https://www.zyte.com (Nutzt vermutlich scrapy.org)
- https://apify.com/
AI Angebot[Bearbeiten]
Auf Anti-Spingering spezialisert[Bearbeiten]
Die folgenden Links, sind gemäss eigenen angaben gut gegen anti-bot systeme (Absteigend sortiert nach Beste Chancen anti-bot-systeme zu umgehen):
- https://github.com/D4Vinci/Scrapling
- https://gologin.com/
- https://www.nstbrowser.io/
- https://undetectable.io
- https://www.morelogin.com/
- https://kameleo.io/
- https://octobrowser.net/
- https://incogniton.com/ (Arbeitet gut mit brightdata zusammen)
Die folgenden warem in Test nicht vorhanden, daher ist die Chance für das Umgehen von Anti-Bot-Systemen hier nicht definiert:
Einfache handhabung[Bearbeiten]
werben mit einfacher handhabung
- https://www.octoparse.com/
- https://www.scrapestorm.com
- https://webscraper.io/ (Für ganz einfache Anwendungen ohne Paging und ohne Filedownload)
- https://www.parsehub.com/
- https://apify.com/
- https://www.pricingbot.co/ (Fertiger E-Commerce Spider)
- https://www.scraperapi.com/
- https://proxycrawl.com/
- Microsoft Power Automate with -> Browser Automation (https://www.youtube.com/watch?v=DgBZiBIgh3w)
Opensource[Bearbeiten]
- https://github.com/botswin/BotBrowser/tree/main
- https://scrapy.org/ (maintained by zyte) (Achtung: nur für einfache Seiten einsetzbar. Wird schnell erkannt)
- Headless Javascript browser basierend auf phyton https://github.com/scrapinghub/splash
Verbreitete Anti-Spidering technologien[Bearbeiten]
Unter folgendem Link, sind weit verbreitete Anti-Spidering-Technologien zu finden: Anti spidering software
SOLVING CAPTCHAS[Bearbeiten]
- https://www.capsolver.com
- https://scraperbox.com/blog/solving-a-geetest-slider-captcha-with-puppeteer
- https://anti-captcha.com/de
- https://2captcha.com/
- Eigenentwicklung mit KI (Siehe node js bypassing captcha)
DIFFERENT BROWSERS[Bearbeiten]
- https://librewolf.net/
- https://camoufox.com/
- https://brave.com/
- https://de.dolphin-emu.org/download/
- https://grapheneos.org/features (Mobile)
- https://github.com/niespodd/browser-fingerprinting
Netzerk / Proxies[Bearbeiten]
Server Infrastruktur[Bearbeiten]
