Spider monitoring: Unterschied zwischen den Versionen

Aus redmouth wiki
Zur Navigation springen Zur Suche springen
Fueeg (Diskussion | Beiträge)
Keine Bearbeitungszusammenfassung
Fueeg (Diskussion | Beiträge)
Keine Bearbeitungszusammenfassung
Zeile 1: Zeile 1:
Das Spider-Monitoring dient dazu, Probleme zu erkennen und zu beheben, damit die Spider möglichst effizient laufen können. Wir unterscheiden zwischen Monitoren, welche die Spider direkt ansprechen und Monitoren, die Auskunft darüber geben, ob die Spider-Ziele (hier Immobilien-Websites) Anpassungen gemacht haben.
Das Spider-Monitoring dient dazu, Probleme zu erkennen und zu beheben, damit die Spider möglichst effizient laufen können. Wir unterscheiden zwischen Monitoren, welche die Spider direkt ansprechen und Monitoren, die Auskunft darüber geben, ob die Spider-Ziele (hier Immobilien-Websites) Anpassungen gemacht haben.


Ein allgemeiner live Überblick zum Zustand der Spider gibt der Monitor http://192.168.100.102:8081/app_dev.php/Monitoring/SpiClients?none=0
----
 
Ein live Überblick zum Zustand der Spider gibt der Monitor http://192.168.100.102:8081/app_dev.php/Monitoring/SpiClients?none=0
(1. Monitor, Ladezeit: weniger als eine Minute)
(1. Monitor, Ladezeit: weniger als eine Minute)


'''BILD ÜBERSICHT'''
'''BILD ÜBERSICHT'''


Hier werden sämtliche Spider aufgelistet, die für woni.ch im Einsatz sind. Jedes Quadrat entspricht einem Spider mit entsprechender Nummer. Schwarze Quadrate zeigen Spider an, die Lebenszeichen senden. Rote Quadrate zeigen Spider an, die kein Lebenszeichen senden. Dann muss der entsprechende Client geöffnet werden, um zu schauen, was ihn deaktiviert hat.
Auf diesem Monitor werden sämtliche Spider aufgelistet, die für woni.ch im Einsatz sind.
Die obere Grafik zeigt die Anzahl Fehlermeldungen, welche jeder einzelne Spider im Laufe eines Tages gemeldet hat.
Jedes Quadrat entspricht einem Spider mit entsprechender Nummer. Schwarze Quadrate zeigen Spider an, die Lebenszeichen senden. Rote Quadrate zeigen Spider an, die kein Lebenszeichen senden. Dann muss der entsprechende Client geöffnet werden, um zu schauen, was ihn deaktiviert hat.
Dazwischen gibt es verschiedene Schattierungen von rot. Je rötlicher ein Quadrat, umso mehr Fehler wurden generiert.
Dazwischen gibt es verschiedene Schattierungen von rot. Je rötlicher ein Quadrat, umso mehr Fehler wurden generiert.
Klick auf das entsprechendeden Spider-Quadrat blendet weiter unten Details zum Spider ein. Zuerst stehen die Fehlermeldungen, welche der Server gemeldet hat, mit den entsprechenden [A:FEHLERCODES].
Klick auf das entsprechendeden Spider-Quadrat blendet weiter unten Details zum Spider ein. Zuerst stehen die Fehlermeldungen, welche der Server gemeldet hat, mit den entsprechenden [A:FEHLERCODES].


Fehlerbehebung:
Fehlercodes, sofern nicht bereits auf der Seite erklärt:
- 99 HTML zu klein
- 9845 Detailseite zu klein (wie -99 bei comparis)
- 2542 "No advert detaillink" advertisement ID, scheint sich nicht auf Detailseite zu befinden, obschon er sollte




----
Eine Detailübersicht über die gefundenen Inserate pro Stunde gibt der Monitor http://192.168.100.102:8081/app_dev.php/Monitoring/SpiClientsCrawllinks?none=0
Eine Detailübersicht über die gefundenen Inserate pro Stunde gibt der Monitor http://192.168.100.102:8081/app_dev.php/Monitoring/SpiClientsCrawllinks?none=0
(4. Monitor, Ladezeit: Minuten)
(4. Monitor, Ladezeit: Minuten)
Zeile 26: Zeile 34:
<li>Diagramme sollten im Normalfall dieselben X-Skalen haben</li>
<li>Diagramme sollten im Normalfall dieselben X-Skalen haben</li>


----


Der folgende Monitor gibt Informationen über die Felder, welche von den Spidern bei den jeweiligen Zielseiten pro Tag gefunden und ausgefüllt werden konnten http://192.168.100.102:8081/app_dev.php/Monitoring/SpiSources?none=0  
Der folgende Monitor gibt Informationen über die Felder, welche von den Spidern bei den jeweiligen Zielseiten pro Tag gefunden und ausgefüllt werden konnten http://192.168.100.102:8081/app_dev.php/Monitoring/SpiSources?none=0  
Zeile 31: Zeile 40:


'''BILD '''  
'''BILD '''  
Grob sind zwei Kategorien an Linien zu sehen: schwach und stark gefärbte. Die schwachgefärbten Striche entsprechen den geprüften Feldern; diese Linien sollten alle demselben Trend folgen. Die starkgefärbte grüne Linie entspricht den Mediadateien wie Bilder und Dokumenten, die von Tag zu Tag viel mehr fluktuieren kann.
Hinweise:
<li>Letzte Datenpunkte können ignoriert werden.</li>
<li>Letzte Datenpunkte können ignoriert werden.</li>
<li>Linien sollten alle demselben Trend folgen</li>
<li>Linien sollten alle demselben Trend folgen</li>
<li>grünliche Linie sind Mediadaten und können stärker fluktuieren.</li>
<li>grünliche Linie sind Mediadaten und können stärker fluktuieren.</li>


----


Der folgende Monitor zeigt, wieviele Links auf der jeweiligen Seite pro Stunde gefunden wurden. http://192.168.100.102:8081/app_dev.php/Monitoring/SpiSourcesCounts?none=0 :
Der folgende Monitor zeigt, wieviele Links auf der jeweiligen Seite pro Stunde gefunden wurden. http://192.168.100.102:8081/app_dev.php/Monitoring/SpiSourcesCounts?none=0 :
3. Monitor, Ladezeit: innert Minuten)
3. Monitor, Ladezeit: ca 3-4 Minuten)


'''BILD SPILINKS'''
'''BILD SPILINKS'''
Zeile 53: Zeile 67:
Um Änderungen besser zu verfolgen ist vorteilhaft, die Durchschnittszahl der verarbeiteten Links pro Seite über die Tage zu vergleichen (notieren).
Um Änderungen besser zu verfolgen ist vorteilhaft, die Durchschnittszahl der verarbeiteten Links pro Seite über die Tage zu vergleichen (notieren).


----


Der nächste Monitor zeigt den Status vom geolocation http://192.168.100.102:8081/app_dev.php/Monitoring/ILGeocoding?none=0  
Der nächste Monitor zeigt den Status vom geolocation http://192.168.100.102:8081/app_dev.php/Monitoring/ILGeocoding?none=0  
Zeile 59: Zeile 74:


Hier ist wichtig zu schauen, ob die letzten Einträge zwischen 1 - 5 Uhr morgens gemacht wurden (angenommene Prüfzeit: 7 Uhr morgens).
Hier ist wichtig zu schauen, ob die letzten Einträge zwischen 1 - 5 Uhr morgens gemacht wurden (angenommene Prüfzeit: 7 Uhr morgens).
----


Der nächste Monitor ist die Qualitätskontrolle auf woni.ch http://192.168.100.102:8081/app_dev.php/Monitoring/SpiSampletests?none=0
Der nächste Monitor ist die Qualitätskontrolle auf woni.ch http://192.168.100.102:8081/app_dev.php/Monitoring/SpiSampletests?none=0
Zeile 65: Zeile 82:
'''BILD VERGLEICHSMONITOR'''
'''BILD VERGLEICHSMONITOR'''


Dieser Monitor zeigt das Originalinserat auf der Immobilienplattform mit dem Inserat auf woni.ch
Dieser Monitor zeigt in der linken Spalte das Originalinserat auf der Immobilienplattform in einem iFrame und das gespiderte Inserat auf woni.ch in der rechten.


Überprüfen:
Überprüfen:
Zeile 71: Zeile 88:
- Miete/Kaufpreis
- Miete/Kaufpreis
- Bilder
- Bilder


Wöchentlich sollten sämtliche Bilder und Felder überprüft werden.
Wöchentlich sollten sämtliche Bilder und Felder überprüft werden.
Zeile 85: Zeile 103:
Allgemeine Fehlerbehebung
Allgemeine Fehlerbehebung
Zuerst schauen, ob Fehler selber beheben -> Client Konsole in VMware prüfen (192.168.100.111 und 115)
Zuerst schauen, ob Fehler selber beheben -> Client Konsole in VMware prüfen (192.168.100.111 und 115)
Hängen alle Spider einer Plattform, so hat die Plattform möglicherweise etwas angepasst
Hängen alle Spider einer Plattform, so hat die Plattform möglicherweise etwas angepasst.

Version vom 19. Mai 2020, 17:26 Uhr

Das Spider-Monitoring dient dazu, Probleme zu erkennen und zu beheben, damit die Spider möglichst effizient laufen können. Wir unterscheiden zwischen Monitoren, welche die Spider direkt ansprechen und Monitoren, die Auskunft darüber geben, ob die Spider-Ziele (hier Immobilien-Websites) Anpassungen gemacht haben.


Ein live Überblick zum Zustand der Spider gibt der Monitor http://192.168.100.102:8081/app_dev.php/Monitoring/SpiClients?none=0 (1. Monitor, Ladezeit: weniger als eine Minute)

BILD ÜBERSICHT

Auf diesem Monitor werden sämtliche Spider aufgelistet, die für woni.ch im Einsatz sind. Die obere Grafik zeigt die Anzahl Fehlermeldungen, welche jeder einzelne Spider im Laufe eines Tages gemeldet hat. Jedes Quadrat entspricht einem Spider mit entsprechender Nummer. Schwarze Quadrate zeigen Spider an, die Lebenszeichen senden. Rote Quadrate zeigen Spider an, die kein Lebenszeichen senden. Dann muss der entsprechende Client geöffnet werden, um zu schauen, was ihn deaktiviert hat. Dazwischen gibt es verschiedene Schattierungen von rot. Je rötlicher ein Quadrat, umso mehr Fehler wurden generiert. Klick auf das entsprechendeden Spider-Quadrat blendet weiter unten Details zum Spider ein. Zuerst stehen die Fehlermeldungen, welche der Server gemeldet hat, mit den entsprechenden [A:FEHLERCODES].

Fehlercodes, sofern nicht bereits auf der Seite erklärt: - 99 HTML zu klein - 9845 Detailseite zu klein (wie -99 bei comparis) - 2542 "No advert detaillink" advertisement ID, scheint sich nicht auf Detailseite zu befinden, obschon er sollte



Eine Detailübersicht über die gefundenen Inserate pro Stunde gibt der Monitor http://192.168.100.102:8081/app_dev.php/Monitoring/SpiClientsCrawllinks?none=0 (4. Monitor, Ladezeit: Minuten)

BILD SPIDERDETAIL

Jedes Histogramm zeigt für jeden Spider, wieviele Links pro Stunde dieser Spider verarbeitet hat. Farbcode: Blau: Erfolgreich verarbeitete Links Rot: Noch nicht verarbeitete Links

Kriterien

  • Diagramme sollten im Normalfall dieselben X-Skalen haben

  • Der folgende Monitor gibt Informationen über die Felder, welche von den Spidern bei den jeweiligen Zielseiten pro Tag gefunden und ausgefüllt werden konnten http://192.168.100.102:8081/app_dev.php/Monitoring/SpiSources?none=0 (2. Monitor, Ladezeit für Seite: ca 5 minuten, Ladezeit für Bild: mehrere Sekunden)

    BILD

    Grob sind zwei Kategorien an Linien zu sehen: schwach und stark gefärbte. Die schwachgefärbten Striche entsprechen den geprüften Feldern; diese Linien sollten alle demselben Trend folgen. Die starkgefärbte grüne Linie entspricht den Mediadateien wie Bilder und Dokumenten, die von Tag zu Tag viel mehr fluktuieren kann.

    Hinweise:

  • Letzte Datenpunkte können ignoriert werden.
  • Linien sollten alle demselben Trend folgen
  • grünliche Linie sind Mediadaten und können stärker fluktuieren.

  • Der folgende Monitor zeigt, wieviele Links auf der jeweiligen Seite pro Stunde gefunden wurden. http://192.168.100.102:8081/app_dev.php/Monitoring/SpiSourcesCounts?none=0 : 3. Monitor, Ladezeit: ca 3-4 Minuten)

    BILD SPILINKS

    Die Histogramme zeigen, wieviele Links auf der jeweiligen Seite von allen Spidern gefunden wurden. Der Farbcode der Balken meint folgendes: Rot: Neu gefundene Inserate Blau: Alte Inserate, die aktualisiert worden sind Gelb: Inserate, die noch aktualisiert werden

    Kriterien:

  • Diagramme sollten im Normalfall dieselben X-Skalen haben (gleicher Endzeitpunkt)
  • kleiner Bruchteil an pendenten Links ist auch bei früheren Zeiten vertretbar
  • Normalerweise ist das Verhältnis von neuen zu geupdateten Links klein, die Balken sind also vorwiegend blau
  • Um Änderungen besser zu verfolgen ist vorteilhaft, die Durchschnittszahl der verarbeiteten Links pro Seite über die Tage zu vergleichen (notieren).


    Der nächste Monitor zeigt den Status vom geolocation http://192.168.100.102:8081/app_dev.php/Monitoring/ILGeocoding?none=0 (5. Monitor, Ladezeit: wenige Sekunden) BILD GEOLOC

    Hier ist wichtig zu schauen, ob die letzten Einträge zwischen 1 - 5 Uhr morgens gemacht wurden (angenommene Prüfzeit: 7 Uhr morgens).


    Der nächste Monitor ist die Qualitätskontrolle auf woni.ch http://192.168.100.102:8081/app_dev.php/Monitoring/SpiSampletests?none=0 (6. Monitor, Ladezeit: innert Minuten)

    BILD VERGLEICHSMONITOR

    Dieser Monitor zeigt in der linken Spalte das Originalinserat auf der Immobilienplattform in einem iFrame und das gespiderte Inserat auf woni.ch in der rechten.

    Überprüfen: - Liegenschaftstyp/Wohntyp - Miete/Kaufpreis - Bilder


    Wöchentlich sollten sämtliche Bilder und Felder überprüft werden.

    Hinweise: - Inserate, welche Suchende aufgeben, werden nicht auf woni.ch publiziert und zeigen in dieser Ansicht die Resultateliste - Comparis-Inserate können abweichen, da auch diese Inserate spidern und nicht alles erwischen. Grundrisse können nicht abgeholt werden. - Wenn kein iFrame beim Inserat angezeigt wird, dann Link folgen und prüfen



    Allgemeine Fehlerbehebung Zuerst schauen, ob Fehler selber beheben -> Client Konsole in VMware prüfen (192.168.100.111 und 115) Hängen alle Spider einer Plattform, so hat die Plattform möglicherweise etwas angepasst.