Spider

Aus redmouth wiki
Zur Navigation springen Zur Suche springen

Spider sind Skripte, welche Inserate oder Angebote auf Zielwebseiten sammeln und sie auf unseren Servern speichern.

Spideralgorithmen[Bearbeiten]

Typenzuordnung[Bearbeiten]

Spider machen die Typenzuordnung auf zwei Arten, welche von der jeweiligen Quelle abhängt:

  • anhand vom Typesub: Dabei übernehmen die Spider den von der Quelle zugeordneten Typ
  • anhand vom Inserat in der Reihenfolge Titel, Typesub oder Beschreibung

Spidering-Modi[Bearbeiten]

  • Delta-Spidering: Spider merkt mittels Logiken, ob ein Inserat bereits heruntergeladen wurde. Es wird erst heruntergeladen, wenn Änderungen gemacht wurden. So kann unnötiger Traffic vermieden werden.

Spiderarten[Bearbeiten]

Aktuell wird Spiderung für zweierlei verwendet: Für das Spidering von Immobilieninseraten und für Webshops.

Spidering von Immobilieninseraten[Bearbeiten]

Immobilieninserate werden anhand der Postleitzahl und der Zimmerangaben gespidert.

Spidering von Webshops[Bearbeiten]

Webshops werden nach Kategorien pro Quelle gespidert. Die Suchaufträge sind in der Tabelle 192.168.100.102:8081/app_dev.php/showtable/SpideringResultlist gespeichert. Filtern nach Quelle zeigt alle Suchaufträge der entsprechenden Quelle an. Die gespiderten Produkte werden in der Tabelle http://192.168.100.102:8081/app.php/showtable/SpiderProduct gespeichert.

Qualitätskontrolle

Um das Spidering auf Vollständigkeit zu prüfen sollten die Anzahl Produkte einer Quelle, die in der Tabelle gespeichert sind, mit den Anzahl Produkten im Webshop verglichen werden. Dazu wie folgt vorgehen:

  1. Mittels Filtern der Produktliste alle Inserate der letzten 2-3 Tage der zu prüfenden Quelle anzeigen und die Gesamtzahl merken.
  2. Mittels Filtern der Resultlist alle Aufträge für die zu prüfenden Quelle anzeigen.
  3. Sämtliche Einträge der gefilterten Resultlist in einem Browser durchgehen und jeweils die Anzahl Produkte notieren (am besten in einem Tabellenverarbeitungsprogramm wie Excel)
  4. Anzahl Produkte summieren und mit der Gesamtzahl aus Schritt 1 vergleichen. Weicht die Zahl mehr als 10% ab, dann kann Optimierungsbedarf bestehen

Erkennen des Blockverfahrens[Bearbeiten]

Who to detect the blocksystem

Verkrüppelter Javascripcode (obfuscation) entkrüppeln (Deobfuscation)[Bearbeiten]

https://deobfuscate.io/

Tests um Bots oder Browser zu erkennen[Bearbeiten]


Spiderdienstleistungen von Dritten[Bearbeiten]

Fullservice angebot[Bearbeiten]

AI Angebot[Bearbeiten]

Auf Anti-Spingering spezialisert[Bearbeiten]

Die folgenden Links, sind gemäss eigenen angaben gut gegen anti-bot systeme (Absteigend sortiert nach Beste Chancen anti-bot-systeme zu umgehen):

Die folgenden warem in Test nicht vorhanden, daher ist die Chance für das Umgehen von Anti-Bot-Systemen hier nicht definiert:

Einfache handhabung[Bearbeiten]

werben mit einfacher handhabung

Opensource[Bearbeiten]

Verbreitete Anti-Spidering technologien[Bearbeiten]

Unter folgendem Link, sind weit verbreitete Anti-Spidering-Technologien zu finden: Anti spidering software

SOLVING CAPTCHAS[Bearbeiten]

DIFFERENT BROWSERS[Bearbeiten]

Netzerk / Proxies[Bearbeiten]

  1. Netzwerk

Server Infrastruktur[Bearbeiten]

  1. Server Infrastruktur


Rechtsanwälte Juristen, welche sich auf Spidering spezialisiert haben[Bearbeiten]

CDP Tools[Bearbeiten]