Spideroptimierung

Aus redmouth wiki
Zur Navigation springen Zur Suche springen

Damit die Spider möglichst wenig Leerläufe haben, müssen die ausgegklügelten Algorithmen so konfiguriert werden, dass sie optimal laufen.

Gemeinden zuordnen[Bearbeiten]

Werden inländische Gemeindenamen oder Ortsteile nicht gefunden, dann müssen diese in die Tabelle http://192.168.100.102:8081/app.php/showtable/GeoCommunitybfssyn eingetragen werden. Dazu einen neuen Eintrag erstellen und folgende Felder ausfüllen:

  • ortschreibweise: Name vom Ort
  • fkgeocommunitybfs: Zugeordnete Gemeinde. Bei ausländischen Gemeinden zuerst nach dem Land suchen, wenn das nicht gefunden wird, Ausland anwählen.
  • signed: Das aktuelle Datum und & Uhrzeit
  • Checkbox "Active" aktivieren

dann mit OK bestätigen und prüfen, ob die Normierung stimmt, falls diese bekannt ist.

PLZ zuordnen[Bearbeiten]

Postleitzahlen können bei Woni entweder einer Gemeinde oder einer Region (Z.B. Kanton etc.) zugeordnet werden. Wenn die Gemeinde wirklich existiert, dann sollte die PLZ dieser Gemeinde zugeordnet werden, falls sie nicht existiert, kann sie einer Region zugeordnet werden.

Postleitzahlen einer Gemeinde zuordnen[Bearbeiten]

In der Tabelle http://192.168.100.102:8081/app.php/showtable/GeoCommunityAddplz sind die Postleitzahlen existierenden Gemeinden zugeordnet. Ausländische PLZ können hier eingetragen werden. Dazu die Felder ausfüllen:

  • PLZ4: Postleitzahl
  • Gemeinde-PLZ-Name: Dazugehöriger Gemeindename
  • die Checkbox "Active" aktivieren

dann den Eintrag mit OK speichern.


Neu gefundene PLZ den Kantonen zuordnen[Bearbeiten]

Kann eine PLZ keiner Gemeinde zugeordnet werden, so kann sie möglicherweise einem Kanton zugeordnet werden. Diese Verknüpfungen sind in der Tabelle http://192.168.100.102:8081/app_dev.php/showtable/SpideringAllGeoCombinations/78/8397 zu finden. Diese Liste kann zudem sporadisch auf leere Einträge untersucht werden und diese mittels maps.search.ch und https://www.gewerbeverzeichnis-schweiz.ch/plzsuche.php prüfen, ob sie eindeutig einem Kanton zugeordnet werden können. Falls ja, so den entsprechenden Eintrag mittels Doppelklick öffnen und beim Feld "fkgeocantonsbfs" den Kanton mittels Dropdown-Liste eintragen und speichern.

Rebalancing der Spideraufträge[Bearbeiten]

Werden Spiderclients zu- oder abgeschaltet oder Änderungen an den Geoparameters oder Resultlists gemacht, so müssen die Resultlists neu auf die Spider verteilt werden, damit die Spiders optimal ausgelastet sind. Dazu folgendes Vorgehen beachten:

  1. Gewünschte Anzahl Spider abschalten
  2. Rebalancing ausführen (Code siehe: https://project.redmouth.ch/issues/2583)
  3. Im Code im Startscript die Funktion «helpers.cleanuprestorepoints(configs)» einschalten
  4. Spider anschalten
  5. Warten, bis sie den Code geholt haben (z.B. bis Port 80 OK), sonst Fehlerbehebung ausführen
  6. Die Funktion «helpers.cleanuprestorepoints(configs)» ausschalten
  7. Spider neustarten

Resultlists aufteilen[Bearbeiten]

Aufteilung einer Resultlist bei zu vielen Seiten[Bearbeiten]

Ist die Meldung vom Typ SPI_03 zu viele seiten: 17.05.2020 / 332892 / 313472 / 1700,5520,7541,4515 / Mieten / 0 / -10 / -10 so muss der Resultlist-Eintrag aufgeteilt werden.

Dazu auf der Quellseite die http://192.168.100.102:8081/app_dev.php/showtable/SpideringResultlist/82/ öffnen, nach der Quellseite suchen und

  1. In einem neuen Eintrag die Felder vom alten Eintrag bis auf die Postleitzahlkombination kopieren (z.B. param1).
  2. Die Postleitzahlen so aufteilen, dass sie eine möglichst ähnliche Zahl an Resultaten auf der Plattform ergeben.
  3. groupid auf 0 setzen
  4. mit OK bestätigen


Aufteilung einer Resultlist bei zu vielen Treffern[Bearbeiten]

Resultlists, welche in der Tabelle http://192.168.100.102:8081/app.php/showtable/SpideringResultlist/110 eingtragen sind, liefern zu viele Treffer und müssen überprüft werden. Zuerst mittels untenstehender Tabelle die Suche nachvollziehen und prüfen, ob tatsächlich die bei calcdurchtreffer angegebene Anzahl Treffer gefunden wuden. Falls nein, so handelt es sich höchstwahrscheinlich um ein Artefakt, das sich mit den Tagen wieder normalisieren wird.

Falls die Trefferzahl über 500 liegt, muss die Resultliste mittels Preiswahl aufgeteilt werden, sodass die Anzahl Treffer zwischen 300-400 liegen. Falls sie bereits aufgeteilt ist, so kann nichts gemacht werden.

Automatische Aufteilung einer Resultlist nach Preis[Bearbeiten]

http://192.168.100.102:8081/app_dev.php/SplitResultlisteByPrice/RL_id/Price_min/Price_max RL_id: ID der zu splittenden Resultlist Price_min: tiefster Preis Price_max: höchster Preis

Beispiel: http://192.168.100.102:8081/app_dev.php/SplitResultlisteByPrice/349274/1200/1400

Dieser Eintrag kopiert die Resultlist mit id 349274 und setzt param4 = 1200 und param5 = 1400. Wichtig:

  • Die Preise müssen von der Webseite erkannt werden. Mit dem DOM-Inspector prüfe, ob die Seite Preise vorgibt oder sie frei gewählt werden können.


Es gibt noch die möglichkeit, eine Resultliste von einem Anfangs- und Endpreis in definierten Intervallen zu splitten


Manuelle Aufteilung einer Resultlist[Bearbeiten]

Dazu http://192.168.100.102:8081/app.php/showtable/SpideringResultlistbasis/65 öffnen und mittels geofilter schauen, ob die entsprechende PLZ beim entsprechenden Anbieter in die Preise aufgeteilt ist.

  1. Falls nicht, neue Einträge erstellen, um die Zimmeraufteilung sinnvoll vorzunehmen. Richtwert: nicht mehr als 100-150 Inserate pro Eintrag. Die Anzahl gefundener Resultate kann natürlich variieren.
    • param2 = "Mieten" oder "Kaufen"
    • param3 = Object-Nummer
    • param4 = Tiefster Preis
    • param5 = Höchster Preis
    • param5 = Name der Gemeinde (kleingeschrieben, vom Haupteintrag übernehmen)
    • param7 = interne ID der Gemeinde von der Quellplattform (von Haupteintrag übernehmen)
    • fkspideringall... = %PLZ (% ist nötig!)
    • fksource = Immobilienplattform
  2. Beim Haupteintrag, der die Fehlermeldung generiert hat, calcdurchtreffer auf 1000 setzen. Dadurch verschwindet die Fehlermeldung nicht. Das und "fkspideringresultlist" wird erst ausgefüllt, wenn ein "new balancing" gemacht wurde. Das wird gemacht, wenn sich etwa 80 % der Fehlermeldungen wiederholen, diese also bitte nicht löschen. Dann Mirco melden.

Folgende Tabelle listet die wichtigen Paramter angepasst an die verschiedenen Quellen auf:

Quelle maxsites "beliebig" param1 param2 param3 param4 param5 param6 letztes Balancing
Comparis 61 -10 PLZ Mieten
Kaufen
0 = Objektart
1 = Wohnung
2 = Möblierte Wohnung
3 = WG-Zimmer
4 = Haus
5 = Parkplatz
6 = Ferienimmobilie
7 = Mehrfamilienhaus
8 = Gewerbeobjekt
9 = Grundstück
26 = Bastelraum
Preis_min Preis_max 25.5.2021
Homegate 24 leerlassen ["Kantonsname"]
PLZ
kanton Mieten
Kaufen
Wohnung & Haus
Wohnung
Haus
Möbliertes Wohnobjekt
Parkplatz, Garage
Büro
Gewerbe
Lager
Preis_min Preis_max 27.5.
Immoscout24 19 leerlassen ["Kantonsname"]
PLZ
Kanton Mieten
Kaufen
1 = Wohnung, Haus
2 = Wohnung
3 = Haus
4 = Grundstück
5 = Parkplatz
7 = Büro, Gewerbe, Industrie
8 = andere Objekte
10 = Landwirtschaft
135 = Neubau/Erstbezug
136 = Möbliertes Wohnobjekt
Preis_min Preis_max
Tutti 20 leerlassen ["Kantonsname"]
PLZ
kanton buy
rent
["wohnungen","hauser","wg-zimmer","ferienobjekte","grundstucke","parkplatze"] Preis_min Preis_max