Spideroptimierung
Damit die Spider möglichst wenig Leerläufe haben, müssen die ausgegklügelten Algorithmen so konfiguriert werden, dass sie optimal laufen.
Gemeinden zuordnen[Bearbeiten]
Werden inländische Gemeindenamen oder Ortsteile nicht gefunden, dann müssen diese in die Tabelle http://192.168.100.102:8081/app.php/showtable/GeoCommunitybfssyn eingetragen werden. Dazu einen neuen Eintrag erstellen und folgende Felder ausfüllen:
- ortschreibweise: Name vom Ort
- fkgeocommunitybfs: Zugeordnete Gemeinde. Bei ausländischen Gemeinden zuerst nach dem Land suchen, wenn das nicht gefunden wird, Ausland anwählen.
- signed: Das aktuelle Datum und & Uhrzeit
- Checkbox "Active" aktivieren
dann mit OK bestätigen und prüfen, ob die Normierung stimmt, falls diese bekannt ist.
PLZ zuordnen[Bearbeiten]
Postleitzahlen können bei Woni entweder einer Gemeinde oder einer Region (Z.B. Kanton etc.) zugeordnet werden. Wenn die Gemeinde wirklich existiert, dann sollte die PLZ dieser Gemeinde zugeordnet werden, falls sie nicht existiert, kann sie einer Region zugeordnet werden.
Postleitzahlen einer Gemeinde zuordnen[Bearbeiten]
In der Tabelle http://192.168.100.102:8081/app.php/showtable/GeoCommunityAddplz sind die Postleitzahlen existierenden Gemeinden zugeordnet. Ausländische PLZ können hier eingetragen werden. Dazu die Felder ausfüllen:
- PLZ4: Postleitzahl
- Gemeinde-PLZ-Name: Dazugehöriger Gemeindename
- die Checkbox "Active" aktivieren
dann den Eintrag mit OK speichern.
Neu gefundene PLZ den Kantonen zuordnen[Bearbeiten]
Kann eine PLZ keiner Gemeinde zugeordnet werden, so kann sie möglicherweise einem Kanton zugeordnet werden. Diese Verknüpfungen sind in der Tabelle http://192.168.100.102:8081/app_dev.php/showtable/SpideringAllGeoCombinations/78/8397 zu finden. Diese Liste kann zudem sporadisch auf leere Einträge untersucht werden und diese mittels maps.search.ch und https://www.gewerbeverzeichnis-schweiz.ch/plzsuche.php prüfen, ob sie eindeutig einem Kanton zugeordnet werden können. Falls ja, so den entsprechenden Eintrag mittels Doppelklick öffnen und beim Feld "fkgeocantonsbfs" den Kanton mittels Dropdown-Liste eintragen und speichern.
Rebalancing der Spideraufträge[Bearbeiten]
Werden Spiderclients zu- oder abgeschaltet oder Änderungen an den Geoparameters oder Resultlists gemacht, so müssen die Resultlists neu auf die Spider verteilt werden, damit die Spiders optimal ausgelastet sind. Dazu folgendes Vorgehen beachten:
- Gewünschte Anzahl Spider abschalten
- Rebalancing ausführen (Code siehe: https://project.redmouth.ch/issues/2583)
- Im Code im Startscript die Funktion «helpers.cleanuprestorepoints(configs)» einschalten
- Spider anschalten
- Warten, bis sie den Code geholt haben (z.B. bis Port 80 OK), sonst Fehlerbehebung ausführen
- Die Funktion «helpers.cleanuprestorepoints(configs)» ausschalten
- Spider neustarten
Resultlists aufteilen[Bearbeiten]
Aufteilung einer Resultlist bei zu vielen Seiten[Bearbeiten]
Ist die Meldung vom Typ SPI_03 zu viele seiten: 17.05.2020 / 332892 / 313472 / 1700,5520,7541,4515 / Mieten / 0 / -10 / -10 so muss der Resultlist-Eintrag aufgeteilt werden.
Dazu auf der Quellseite die http://192.168.100.102:8081/app_dev.php/showtable/SpideringResultlist/82/ öffnen, nach der Quellseite suchen und
- In einem neuen Eintrag die Felder vom alten Eintrag bis auf die Postleitzahlkombination kopieren (z.B. param1).
- Die Postleitzahlen so aufteilen, dass sie eine möglichst ähnliche Zahl an Resultaten auf der Plattform ergeben.
- groupid auf 0 setzen
- mit OK bestätigen
Aufteilung einer Resultlist bei zu vielen Treffern[Bearbeiten]
Resultlists, welche in der Tabelle http://192.168.100.102:8081/app.php/showtable/SpideringResultlist/110 eingtragen sind, liefern zu viele Treffer und müssen überprüft werden. Zuerst mittels untenstehender Tabelle die Suche nachvollziehen und prüfen, ob tatsächlich die bei calcdurchtreffer angegebene Anzahl Treffer gefunden wuden. Falls nein, so handelt es sich höchstwahrscheinlich um ein Artefakt, das sich mit den Tagen wieder normalisieren wird.
Falls die Trefferzahl über 500 liegt, muss die Resultliste mittels Preiswahl aufgeteilt werden, sodass die Anzahl Treffer zwischen 300-400 liegen. Falls sie bereits aufgeteilt ist, so kann nichts gemacht werden.
Automatische Aufteilung einer Resultlist nach Preis[Bearbeiten]
http://192.168.100.102:8081/app_dev.php/SplitResultlisteByPrice/RL_id/Price_min/Price_max RL_id: ID der zu splittenden Resultlist Price_min: tiefster Preis Price_max: höchster Preis
Beispiel: http://192.168.100.102:8081/app_dev.php/SplitResultlisteByPrice/349274/1200/1400
Dieser Eintrag kopiert die Resultlist mit id 349274 und setzt param4 = 1200 und param5 = 1400. Wichtig:
- Die Preise müssen von der Webseite erkannt werden. Mit dem DOM-Inspector prüfe, ob die Seite Preise vorgibt oder sie frei gewählt werden können.
- Eine Resultlist muss mindestens von "beliebig" zu einem Preis und von diesem zu "beliebig" gesplittet werden. Hier verdeutlicht am Beispiel von Comparis ("beliebig" = -10):
Es gibt noch die möglichkeit, eine Resultliste von einem Anfangs- und Endpreis in definierten Intervallen zu splitten
Manuelle Aufteilung einer Resultlist[Bearbeiten]
Dazu http://192.168.100.102:8081/app.php/showtable/SpideringResultlistbasis/65 öffnen und mittels geofilter schauen, ob die entsprechende PLZ beim entsprechenden Anbieter in die Preise aufgeteilt ist.
- Falls nicht, neue Einträge erstellen, um die Zimmeraufteilung sinnvoll vorzunehmen. Richtwert: nicht mehr als 100-150 Inserate pro Eintrag. Die Anzahl gefundener Resultate kann natürlich variieren.
- param2 = "Mieten" oder "Kaufen"
- param3 = Object-Nummer
- param4 = Tiefster Preis
- param5 = Höchster Preis
- param5 = Name der Gemeinde (kleingeschrieben, vom Haupteintrag übernehmen)
- param7 = interne ID der Gemeinde von der Quellplattform (von Haupteintrag übernehmen)
- fkspideringall... = %PLZ (% ist nötig!)
- fksource = Immobilienplattform
- Beim Haupteintrag, der die Fehlermeldung generiert hat, calcdurchtreffer auf 1000 setzen. Dadurch verschwindet die Fehlermeldung nicht. Das und "fkspideringresultlist" wird erst ausgefüllt, wenn ein "new balancing" gemacht wurde. Das wird gemacht, wenn sich etwa 80 % der Fehlermeldungen wiederholen, diese also bitte nicht löschen. Dann Mirco melden.
Folgende Tabelle listet die wichtigen Paramter angepasst an die verschiedenen Quellen auf:
| Quelle | maxsites | "beliebig" | param1 | param2 | param3 | param4 | param5 | param6 | letztes Balancing | |
|---|---|---|---|---|---|---|---|---|---|---|
| Comparis | 61 | -10 | PLZ | Mieten Kaufen |
0 = Objektart 1 = Wohnung 2 = Möblierte Wohnung 3 = WG-Zimmer 4 = Haus 5 = Parkplatz 6 = Ferienimmobilie 7 = Mehrfamilienhaus 8 = Gewerbeobjekt 9 = Grundstück 26 = Bastelraum |
Preis_min | Preis_max | 25.5.2021 | ||
| Homegate | 24 | leerlassen | ["Kantonsname"] PLZ |
kanton | Mieten Kaufen |
Wohnung & Haus Wohnung Haus Möbliertes Wohnobjekt Parkplatz, Garage Büro Gewerbe Lager |
Preis_min | Preis_max | 27.5. | |
| Immoscout24 | 19 | leerlassen | ["Kantonsname"] PLZ |
Kanton | Mieten Kaufen |
1 = Wohnung, Haus 2 = Wohnung 3 = Haus 4 = Grundstück 5 = Parkplatz 7 = Büro, Gewerbe, Industrie 8 = andere Objekte 10 = Landwirtschaft 135 = Neubau/Erstbezug 136 = Möbliertes Wohnobjekt |
Preis_min | Preis_max | ||
| Tutti | 20 | leerlassen | ["Kantonsname"] PLZ |
kanton | buy rent |
["wohnungen","hauser","wg-zimmer","ferienobjekte","grundstucke","parkplatze"] | Preis_min | Preis_max |