Spideroptimierung

Aus redmouth wiki
Zur Navigation springen Zur Suche springen

Damit die Spider möglichst wenig Leerläufe haben, müssen die ausgegklügelten Algorithmen so konfiguriert werden, dass sie optimal laufen.

Gemeinden zuordnen

Werden inländische Gemeindenamen oder Ortsteile nicht gefunden, dann müssen diese in die Tabelle http://192.168.100.102:8081/app.php/showtable/GeoCommunitybfssyn eingetragen werden. Dazu einen neuen Eintrag erstellen und folgende Felder ausfüllen:

  • ortschreibweise: Name vom Ort
  • fkgeocommunitybfs: Zugeordnete Gemeinde. Bei ausländischen Gemeinden zuerst nach dem Land suchen, wenn das nicht gefunden wird, Ausland anwählen.
  • signed: Das aktuelle Datum und & Uhrzeit
  • Checkbox "Active" aktivieren

dann mit OK bestätigen und prüfen, ob die Normierung stimmt, falls diese bekannt ist.

PLZ zuordnen

Postleitzahlen können bei Woni entweder einer Gemeinde oder einer Region (Z.B. Kanton etc.) zugeordnet werden. Wenn die Gemeinde wirklich existiert, dann sollte die PLZ dieser Gemeinde zugeordnet werden, falls sie nicht existiert, kann sie einer Region zugeordnet werden.

Postleitzahlen einer Gemeinde zuordnen

In der Tabelle http://192.168.100.102:8081/app.php/showtable/GeoCommunityAddplz sind die Postleitzahlen existierenden Gemeinden zugeordnet. Ausländische PLZ können hier eingetragen werden. Dazu die Felder ausfüllen:

  • PLZ4: Postleitzahl
  • Gemeinde-PLZ-Name: Dazugehöriger Gemeindename
  • die Checkbox "Active" aktivieren

dann den Eintrag mit OK speichern.


Neu gefundene PLZ den Kantonen zuordnen

Kann eine PLZ keiner Gemeinde zugeordnet werden, so kann sie möglicherweise einem Kanton zugeordnet werden. Diese Verknüpfungen sind in der Tabelle http://192.168.100.102:8081/app_dev.php/showtable/SpideringAllGeoCombinations/78/8397 zu finden. Diese Liste kann zudem sporadisch auf leere Einträge untersucht werden und diese mittels maps.search.ch und https://www.gewerbeverzeichnis-schweiz.ch/plzsuche.php prüfen, ob sie eindeutig einem Kanton zugeordnet werden können. Falls ja, so den entsprechenden Eintrag mittels Doppelklick öffnen und beim Feld "fkgeocantonsbfs" den Kanton mittels Dropdown-Liste eintragen und speichern.

Rebalancing der Spideraufträge

Werden Spiderclients zu- oder abgeschaltet oder Änderungen an den Geoparameters für ein Spidering gemacht, so müssen die Resultlists neu auf die Spider verteilt werden, damit die Spiders optimal ausgelastet sind. Dazu folgendes Vorgehen beachten:

  1. Gewünschte Anzahl Spider ab oder anschalten
  2. Rebalancing machen ausführen
  3. Im Code im Startscript die Funktion «helpers.cleanuprestorepoints(configs)» einschalten
  4. Spider anschalten
  5. Warten, bis sie den Code geholt haben (z.B. bis Port 80 OK), sonst Fehlerbehebung ausführen
  6. Die Funktion «helpers.cleanuprestorepoints(configs)» ausschalten
  7. Spider neustarten


Fehlermeldungen der Spider

Zu viele Seiten/Treffer

Diese Fehlermeldung bedeutet, dass bei einer Postleitzahl oder Postleitzahl-Kombination mehr Seiten angezeigt werden, als der Spider verarbeiten kann. Um die Ursache zu prüfen, muss die Suche nachgemacht werden:

  1. Zuerst die nötigen Daten der Fehlermeldung entnehmen:
    • Beispiel: 18.05.2020 11:30:37 SPI_03 zu viele seiten: 17.05.2020 / 332892 / 313472 / 1700 / Mieten / 1 / -10 / -10
    • Das Format ist wie folgt: DATUM / ? / ? / PLZ / Modus / Wohntyp / Zimmer min / Zimmer max
  2. Quelle (Comparis, Homegate, Tutti, Immoscout, andere) mittels Spider-Nummer in VMware identifizieren
  3. Auf entsprechender Quelle prüfen, ob Fehlermeldung berechtigt ist. Dazu eine Suche wie folgt konfigurieren
    • Mieten oder kaufen wählen
    • Wohntyp wählen. Bei Comparis: Object-Nummer mittels Inspector aus Objektliste definieren
    • Zimmerzahl min
    • Zimmerzahl max
  4. Falls Resultate mehr als "maxsites" (siehe untenstehende Tabelle) an Seiten anzeigen, dann muss die Suche aufgeteilt werden.

Aufteilung einer PLZ-Kombination

Ist die Meldung vom Typ SPI_03 zu viele seiten: 17.05.2020 / 332892 / 313472 / 1700,5520,7541,4515 / Mieten / 0 / -10 / -10 so muss der Resultlist-Eintrag aufgeteilt werden. Dazu http://192.168.100.102:8081/app_dev.php/showtable/SpideringResultlist/82/ öffnen und den bestehenden Eintrag mittels Filter nach Source suchen und öffnen.

  1. In einem neuen Eintrag die Felder vom alten Eintrag bis auf die Postleitzahlkombination kopieren (z.B. param1).
  2. Die Postleitzahlen so aufteilen, dass sie eine möglichst ähnliche Zahl an Resultaten auf der Plattform ergeben.
  3. groupid auf 0 setzen
  4. mit OK bestätigen

Aufteilung einer PLZ

Dazu http://192.168.100.102:8081/app.php/showtable/SpideringResultlistbasis/65 öffnen und mittels geofilter schauen, ob die entsprechende PLZ beim entsprechenden Anbieter in die Zimmergrössen aufgeteilt ist.

  1. Falls nicht, neue Einträge erstellen, um die Zimmeraufteilung sinnvoll vorzunehmen. Richtwert: nicht mehr als 100-150 Inserate pro Eintrag. Die Anzahl gefundener Resultate kann natürlich variieren.
    • param2 = "Mieten" oder "Kaufen"
    • param3 = Object-Nummer
    • param4 = Zimmer Min
    • param5 = Zimmer Max
    • param5 = Name der Gemeinde (kleingeschrieben, vom Haupteintrag übernehmen)
    • param7 = interne ID der Gemeinde von der Quellplattform (von Haupteintrag übernehmen)
    • fkspideringall... = %PLZ (% ist nötig!)
    • fksource = Immobilienplattform
  2. Beim Haupteintrag, der die Fehlermeldung generiert hat, calcdurchtreffer auf 1000 setzen. Dadurch verschwindet die Fehlermeldung nicht. Das und "fkspideringresultlist" wird erst ausgefüllt, wenn ein "new balancing" gemacht wurde. Das wird gemacht, wenn sich etwa 80 % der Fehlermeldungen wiederholen, diese also bitte nicht löschen. Dann Mirco melden.

Folgende Tabelle listet die wichtigen Paramter angepasst an die verschiedenen Quellen auf:

Quelle maxsites "beliebig" param2 param3 param4 param 5 letztes Balancing
Comparis 61 -10 Mieten
Kaufen
0 = Objektart
1 = Wohnung
2 = Möblierte Wohnung
3 = WG-Zimmer
4 = Haus
5 = Parkplatz
6 = Ferienimmobilie
7 = Mehrfamilienhaus
8 = Gewerbeobjekt
9 = Grundstück
26 = Bastelraum
2 2.5 18.5.
Homegate 24 leerlassen radio0 = mieten
radio1 = kaufen
APARTMENT_AND_HOUSE
COMMERCIAL_OFFICE_AND_STORAGE_ROOM
PARKING_PLACE
COMMERCIAL_AND_RESIDENTIAL
MULTI_FAMILY_HOUSE
STORAGE_ROOM
COMMERCIAL
OFFICE
BUILDING_PLOT
FURNISHED_DWELLING
2 2.5 27.5.
Immoscout24 19 leerlassen mieten
kaufen
andere-objekte
landwirtschaft
buero-gewerbe-industrie
parkplatz
grundstueck
moebliertes-wohnobjekt
haus
wohnung
2 2.5 27.5.
Tutti 20 leerlassen mieten
kaufen
wohnungen
hauser
wg-zimmer
ferienobjekte
grundstucke
parkplatze
?rooms=2,2.5