Spider Monitoring
Das Spider-Monitoring dient dazu, Probleme zu erkennen und zu beheben, damit die Spider möglichst effizient laufen können. Wir unterscheiden zwischen Monitoren, welche über den Zustand und die Treffer der Spider Auskunft geben, und Monitoren, die Auskunft darüber geben, ob bei den Spider-Zielen (hier Immobilien-Websites) etwas angepasst werden muss.
Spider Übersicht[Bearbeiten]
Ein live Überblick zum Zustand der Spider gibt der Monitor http://192.168.100.102:8081/app_dev.php/Monitoring/SpiClients?none=0 (1. Monitor, Ladezeit: weniger als eine Minute)
Auf diesem Monitor werden sämtliche Spider aufgelistet, die für woni.ch im Einsatz sind. Die obere Grafik zeigt die Anzahl Fehlermeldungen, welche jeder einzelne Spider im Laufe eines Tages gemeldet hat. Jedes Quadrat entspricht einem Spider mit entsprechender Nummer. Schwarze Quadrate zeigen Spider an, die Lebenszeichen senden. Rote Quadrate zeigen Spider an, die kein Lebenszeichen senden. Dann muss der entsprechende Client geöffnet werden, um den Fehler zu beheben.
Dazwischen gibt es verschiedene Schattierungen von rot. Je rötlicher ein Quadrat, umso neuer ist der Fehler und je mehr Fehler wurden generiert. Klick auf das entsprechende Spider-Quadrat blendet unterhalb der Quadrate Details zum jeweiligen Spider ein.
Zuerst stehen die letzten zehn Fehlermeldungen, welche der Server gemeldet hat (im Bild rechts sinds vier), mit den entsprechenden Fehlercodes:
- Keine Mediafiles: Der Spider hat keine Mediafiles wie Bilder und Dokumente gefunden, diesen Fehler melden.
- Zu viele Seiten: Der Spider fand bei einer Anfrage zu viele Inserate und kann diese nicht bearbeiten. Dazu vorgehen wie beschrieben.
- Zu viele Treffer: Der Spinder fand bei einer Anfrage zu viele Treffer, um sie zu bearbeiten. Dazu vorgehen wie beschrieben.
- 99 HTML zu klein
- 9845 Detailseite zu klein (wie -99 bei comparis)
- 2542 "No advert detaillink" advertisement ID, scheint sich nicht auf Detailseite zu befinden, obschon er sollte
- Cant getting Linklist: Die Datenbank konnte aus diversen Gründen nicht antworten
- Treffer is not numeric spiorderid: Die gewählte Suchkombination findet keine Treffer oder die Trefferzahl kann nicht gelesen werden.
Unterhalb der Fehlermeldungen werden die Laufzeiten der Spider-Skripts zeitaufgelöst grafisch dargestellt.
- GetLists: Skript, das die Inseratelisten durchsucht
- automation.vbs bzw. KaufMiete.vbs: Diese Skripte zeigt an, wielange ein Spider-Durchlauf gedauert hat bzw. seit wann der aktuelle Spiderlauf läuft
- Threads...: Skript, das die Inserate durchgeht und analysiert.
Serverrestarts sollten nicht länger als 24 Stunden her sein, sonst Abklärungen darüber treffen, was los sein könnte.
Performance der Spider[Bearbeiten]
Eine Detailübersicht über die anzahl verarbeiteten Links (Detailinserate) pro Stunde gibt der Monitor http://192.168.100.102:8081/app_dev.php/Monitoring/SpiClientsCrawllinks?none=0 (4. Monitor, Ladezeit: Minuten)
Jedes Histogramm zeigt für jeden Spider, wieviele neue Links pro Stunde dieser Spider verarbeitet hat. Die "updateten" werden nicht angezeigt. Farbcode: Blau: Erfolgreich verarbeitete Links Rot: Noch nicht verarbeitete Links
Vorgehen:
- Es reicht meistens, bei jedem Graph nur die rechte Seite zu prüfen.
- Schauen, ob das Datum aktuell ist
- Schauen, ob die Zeit mit der Prüfzeit oder eine Stunde vor Prüfzeit liegt.
- Schauen, ob die Verteilung vom Histogramm Auffälligkeiten aufweist. Es kann auch im normalen Betrieb stark fluktuieren.
Beispiele:
-
Dieses Histogramm weisst auf einen funktionierenden Spider hin, der wenige Inserate findet
-
Dieses Histogramm weisst auf einen funktionierenden Spider hin, der viele Inserate findet
-
Dieses Histogramm weisst auf einen Spider hin, der Aktivitätslücken hat und angeschaut werden muss
-
Dieses Histogramm weisst auf einen Spider hin, der unregelmässige Aktivität zeigt und näher angeschaut werden muss
Quellen[Bearbeiten]
Der folgende Monitor gibt Informationen über die Felder, welche von den Spidern bei den jeweiligen Zielseiten pro Tag gefunden und ausgefüllt werden konnten http://192.168.100.102:8081/app_dev.php/Monitoring/SpiSources?none=0 Ladezeit für Seite: mehrere Minuten Ladezeit für Bild: mehrere Sekunden; manchmal werden die Graphen auch nach 10 Sekunden nicht angezeigt, dann weiter zum nächsten Graph.

Grob sind zwei Kategorien an Linien zu sehen: schwach und stark gefärbte. Die schwachgefärbten Linien entsprechen den geprüften Feldern; diese Linien sollten alle demselben Trend folgen. Die starkgefärbte grüne Linie entspricht den Mediadateien wie Bilder und Dokumenten, die von Tag zu Tag viel mehr fluktuieren kann.
Hinweise:
- Die jüngsten Punkte können ignoriert werden. Wichtig ist der Trend bis und mit dem zweitletzten Datenpunkt. Weicht dieser stark vom Vortag ab, beispielsweise wie im Bild markiert, dann melden.
- Die Linien sollten alle demselben Trend folgen
- Die grünliche Linie zeigt die Mediadaten an und kann stärker fluktuieren.
- WG-Zimmer zeigt keine Daten an, weil Spidering eingestellt wurde
- WR-Comparis und Petitannonces ignorieren
Bricht der Graph für mehrere Tage ein, so müssen diese Schritte unternommen werden.
Quellenzählung[Bearbeiten]
Der folgende Monitor zeigt, wieviele Links auf der jeweiligen Seite pro Stunde gefunden wurden. http://192.168.100.102:8081/app_dev.php/Monitoring/SpiSourcesCounts?none=0 : 3. Monitor, Ladezeit: ca 3-4 Minuten)
Die Histogramme zeigen, wieviele Links auf der jeweiligen Seite von allen Spidern gefunden wurden. Der Farbcode der Balken meint folgendes: Rot: Neu gefundene Inserate Blau: Alte Inserate, die aktualisiert worden sind Gelb: Inserate, die noch aktualisiert werden
Kriterien:
- Diagramme sollten im Normalfall dieselben X-Skalen haben (gleicher Endzeitpunkt)
- kleiner Bruchteil an pendenten Links ist auch bei früheren Zeiten vertretbar
- Normalerweise ist das Verhältnis von neuen zu geupdateten Links klein, die Balken sind also vorwiegend blau
Um Änderungen besser zu verfolgen ist vorteilhaft, die Durchschnittszahl der verarbeiteten Links pro Seite der letzten 24 Stunden über die Tage zu vergleichen (notieren).
GeoCoding[Bearbeiten]
Nachdem die Inserate gefunden wurden, werden sie mittels Geocoding den Gemeinden, Stadtteilen und Quartieren zugeordnet. Der folgende Monitor zeigt den Status von dieser Aktivität http://192.168.100.102:8081/app_dev.php/Monitoring/ILGeocoding?none=0
Hier ist wichtig zu schauen, ob die letzten Einträge zwischen 1 - 5 Uhr morgens liegen. Gründe für zeitliche Verschiebungen in die Vergangenheit (hier in den Vorabend):
- Wenn Unterbrüche im Betrieb von woni oder von Spidern passieren
- Wenn wenige Inserate gefunden wurden, ist das Geocoding natürlicherweise schneller
Sind Abweichungen von der Normalzeit verzeichnet, dann müssen die Adresszuordnungen beim nächsten Sampletest gut angeschaut werden.
Automatisiertes Monitoring[Bearbeiten]
Seit Juli 2020 wird das automatisierte Monitoring getestet. Der Hauptzweck davon ist, dass der Operator per Mail über Probleme bei den Quellen und den Spider-Clients informiert wird.
Folgende Tabelle gibt eine Übersicht über die Quellseiten:
http://192.168.100.102:8081/app_dev.php/showtable/Source
Relevant sind für uns die Immobilienplattformen:
homegate.ch
immoscout24.ch
tutti.ch
comparis.ch
neubauprojekte.ch
flatfox.ch
acheter-louer.ch
urbanhome.ch
anibis.ch
immowelt.ch
Doppelklick auf die Quelle öffnet die Konfigurationsseite für die Alarme. Nachfolgend wird erklärt, was geprüft wird und welche Parameter dazu auf der Konfigurationsseite eingestellt werden können.
Prüfung der Crawllinks[Bearbeiten]
- monspicrawlinkshourback: Definiert die Zeitspanne, welche für die Prüfung der Crawllinks-Meldung und Pagesize Meldung geprüft wird (0 = ausgeschaltet). Sie ist so zu wählen, dass eine repräsentative Anzahl Stunden geprüft wird, wobei er mindestens 6 Stunden betragen sollte. Bei sich abwechselnden Quellen sollte der Wert so gewählt werden, dass zwei Spiderläufe inkl. Leerzeiten geprüft werden.
- monspicrawlinksemptyhourcanhave: Definiert, wie viele Leerstunden die Quellen haben dürfen. Normalerweise gilt eine Leerzeit von 1 Stunde. Für Quellen, welche abwechselnd gespidert werden, wird die zweifache Leerzeit + 2 Stunden eingetragen. Beispiel: Beträgt die Leerzeit zwischen zwei Läufen 2 Stunden, so wird 2*2 + 2 = 6 Stunden eingetragen.
- monspicrawlinksupdatenewratio: Definiert, welches Update:New Verhältnis nicht überschritten werden sollte.
- monspicrawlinkfluktuationquartilhigh: Definiert eine obere prozentuale Grenze.
- monspicrawlinkfluktuationquartillow: Definiert eine untere prozentuale Grenze.
Prüfung auf zu viele neue Inserate: Es wird der Durchschnittswert der letzten 6 Stunden von updateden und neuen crawllinks berechnet und daraus das Ratio gemacht. Liegt es unter dem definierten Wert, dann wird eine Meldung ausgegeben. Prüfung auf Leerzeiten: Werden während der letzten 6 Stunden über monspicrawlinksemptyhourcanhave Stunden ohne Crawllinks Einträge gemessen, so wird eine Meldung ausgegeben.
Bei monspicrawlinkshourback >= 12 Stunden wird zusätzlich eine Prüfung auf zuviele pendente Crawllinks gemacht.
Bei monspicrawlinkshourback >= 24 Stunden wird zusätzlich eine Prüfung auf Quantile gemacht. Ist der aktuelle Wert höher monspicrawlinkfluktuationquartilhigh' der verarbeiteten Links in den geprüften Stunden, so wird eine Meldung ausgegeben. Ist der aktuelle Wert tiefer als monspicrawlinkfluktuationquartillow der verarbeiteten Links in den geprüften Stunden, so wird eine Meldung ausgegeben.
Anzahl Spiderorderid-Fehler[Bearbeiten]
- monspiorderhourback: Definiert die Zeit, die für die Berechnung der Spiderorderskripts verwendet wird
- monspiordermaxfailuresperclient: Definiert, wie viele Spiderorder-Fehler pro Spider-Client auftreten dürfen, bevor eine Meldung gesendet wird. Diese Funktion wurde deaktiviert
- monspiordermaxfailurespersource: Definiert, wie viele Spiderorderid-Fehler pro Quelle auftreten dürfen, bevor eine Meldung gesendet wird. Diese Funktion wurde deaktiviert
Spiderlaufzeit definieren[Bearbeiten]
- montargetvaluehourback: Definiert die Zeitspanne, in der die Anzahl Objekte und die Spiorderfailures gemessen werden.
Skriptlaufzeit[Bearbeiten]
Sind die Quellen stabil, so zeigen die Skripte eine typische Laufzeit, welche im normalen Betrieb nicht überschritten wird. Dieser Wert wird mittels der Variable monspiordermaxscriptruntimeminutes definiert. Wichtig: Die Hauptskripte Automation und KaufenMieten werden nicht geprüft, da sie funktionsbedingt länger als die Detailsites- und GetLists-Skripte laufen.
Too less links[Bearbeiten]
Diese Meldung erscheint, wenn innerhalb einer Stunde nur 1 Crawllink eingetragen wurde. Wenn 0 eingetragen würden, so würde das als empty hour zählen und wird von dieser Meldung nicht erfasst.
Fehler der Spiderclients[Bearbeiten]
Die Spiderclients sind so programmiert, dass sie Fehler melden, wenn sie eine Aufgabe nicht erfüllen konnten. Der Parameter monalarmlogsmax definiert, wie viele Spiderclient-Fehler pro Quelle während den letzten 24 Stunden ausgegeben werden dürfen, bevor eine Meldung gesendet wird. Das kann vorerst nur pro Quelle definiert werden; die Anzahl erlaubter Fehlermeldungen pro Spiderclient werden im Code global programmiert und beträgt aktuell 30 Fehlermeldungen.
In Field Validator[Bearbeiten]
monfieldvalidationdayback: Wie viele Tage zurück gemessen werden. Davon wird Median gebildet.
monfieldvalidationderivationinpercent: Anzahl Prozent Abweichung des Tageswerts vom Median, bei der eine Meldung ausgegeben wird.
Hier wird für jedes Feld überprüft, ob die Anzahl Einträge pro Feld des Vortages dem Median der Einträge pro Feld der letzten in monfieldvalidationdayback definierten Tage inkl. Abweichung entspricht. Falls er darunter liegt, wird eine Meldung ausgegeben.
Zu wenig Objekte[Bearbeiten]
Misst, ob die Anzahl Inserate in einer bestimmten Zeitspanne der Soll-Anzahl entspricht. Falls nein, wird eine Meldung ausgegeben. Zudem werden neu alle Resultlists mit den Counts und der Anzahl der zur letzten abgeschlossenen Pocessid gehörenden Crawllinks ausgegeben.
- montargetvalueminimal: Soll-Anzahl an Inserate einer Quelle innerhalb der durch montargetvaluehourback defnierten Zeitspanne. Wird diese unterschritten, wird folgender Alarm ausgegeben:
Beispiel:
immoscout24.ch ABSOLUTLY TOO LESS OBJECT. TARGET-VALUE: 85000 / ACTUAL-VALUE: 33278 http://192.168.100.25/Monitoring/SpiSourcesBySource/immoscout24.ch
- montoleranceresultlistcountandadvertcount: Prozentuale Abweichung der Anzahl Inserate von der Summe der Resultlist-Counts. Nötig, weil Inserate ignoriert oder von mehreren Resultlists erfasst werden.
Beispiel:
immoscout24.ch RESULTLIST-DURCHTREFFER-SUM IS SMALLER THEN OBJECT-COUNT WITH 10% TOLERANCE. RESULTLIST-DURCHTREFFER-SUM-WITH-TOLERANCE-VALUE: 73614.6 / OBJECT-COUNT-VALUE: 33278
Paging[Bearbeiten]
monpagesize: Definiert die Anzahl Inserate pro Seite im Paging.
Wenn monspicrawlinkshourback > 0 wird für jede Resultlist geprüft, ob bei mindestens einer Resultlist die Anzahl Counts über der Anzahl Inserate liegt. Falls keine Resultlist mehr als pagesize Inserate aufweist, wird eine Meldung verschickt.
Empfänger der Monitoring Mails[Bearbeiten]
monemailrecipients: E-Mail Adressen der Empfänger der Monitoring-E-Mails.
Letzte Prüfung der Parameter erfolgte am: November 2021