Spiderlauf
Das eingesetzte Spidering arbeitet einerseits mit ImmoLex und andererseits auf den Spiderclients.
Im Wesentlichen holt der Spider Aufträge vom Immolex und führt diese aus:
- Resultatelisten-Aufträge, die die zu suchenden Listen von Inseraten zurückgibt
- Detailseiten-Aufträge, die die zu suchenden Inserate zurückgibt
Resultateliste: Das ist eine Liste der Inserate oder Produkte, welche nach einer Suche auf der Immobilienplattform oder dem Webshop angezeigt wird
Detailseite: Das ist ein einzelnes Inserat oder ein einzelnes Produkt, welches mittels Link aufgerufen wird.
Die Zuordnung des Inserates zu einer Immobilienkategorie geschieht mittels Regex, die auf zwei Wegen angewendet werden:
1) Intelligentes Matching: Ist das intelligente Matching eingeschatltet, so werden zuerst die ersten 60 Zeichen des Namens nach einem bekannten Typesub abgesucht, danach das Typesub-Feld und danach die ersten 150 Zeichen vom Remark.
2) Standard Matching: Ist das intelligente Matching ausgeschaltet, so wird der Typesub anhand vom Typesub-Feld gesucht und falls dieser Leer ist, werden die ersten 60 Zeichen vom Titel geprüft.
Immolex überprüft anhand der Resultateliste, welche Inserate geöffnet werden sollten und schriebt sie in die Crawllinks-Tabelle. Die Überprüfung erfolgt so: Sämtliche Daten der Inserate-Vorschau werden verwendet, um einen Hash zu generieren. Der Hash wird mit der Datenbank abgeglichen. Falls er bereits besteht, so wird das Inserat als nicht neu gesetzt, falls er noch nicht besteht, so wurde das Produkt/Inserat geändert oder neu erstellt. In diesem Fall wird ein Crawllink generiert, um das besagte Inserat zu öffnen.
Identifikationsmerkmale: InetID: Eindeutige Advert-ID der Quelle Advertsmallhash: Wird aus dem Resultlist-Eintrag generiert und ordnet das Advert einer Resultlist-Eintrag zu Adverthash: Uniquehash vom Advert derselben InetID und Quelle Duplicatehash: Uniquehash vom Objekt, generiert aus Objekt-spezifische Angaben