Inseratevergleich
Um sicherzugehen, dass der Spider die Angaben vom Originalinserat korrekt übernommen hat, wird http://192.168.100.102:8081/app_dev.php/Monitoring/SpiSampletests?none=0 aufgerufen (Ladezeit: innert Minuten)
Dieser Monitor zeigt das Originalinserat auf der Immobilienplattform in der linken und das Inserat auf woni.ch in der rechten Spalte, je als iFrame an. Reihenfolge: Homegate Immoscout24 Comparis Tutti Neubauprojekte Immomailing Flatfox
Überprüfen, ob folgende Parameter übereinstimmen (alles, was ohne scrollen sichtbar ist)
- Liegenschaftstyp/Wohntyp
- Miete/Kaufpreis
- Titelbild, stichprobenweise blättern
- Quadratmeter
- Bei Comparis: Originalinserat muss angezeigt werden (nicht das von Comparis)
Wöchentlich sollten sämtliche Bilder und Felder überprüft werden (Kontaktformular, Adresse etc.)
Hinweise:
- Inserate, welche Suchende aufgeben, werden nicht auf woni.ch publiziert und zeigen links den Link und rechts die Resultateliste
- Bei Comparis Inseraten muss der Link zur Originalplattform angegeben sein
- Comparis-Inserate können abweichen, da auch diese Inserate spidern und so eine fehleranfällige Inseratesammelstelle sind. Das führt zu folgendem:
- Comparis spidert keine Dateien wie Grundrisse
- Typenzuordnung oftmals unzutreffend/ungenau
- Fotos können noch nicht angezeigt werden, da verzögert
- Wenn kein iFrame beim Inserat angezeigt wird, dann Link folgen und prüfen
- Wohungstausch wird nicht automatisch erkannt, hier Flag im entsprechenden ImmoLex Eintrag selbst setzen
- Die woni-Links werden der Einfachheit halber immer mit Ort Zürich angegeben
- Von Flatfox werden nur WG-Zimmer gespidert
Fehlerbehebung[Bearbeiten]
Kein woni-Inserat[Bearbeiten]
Wenn kein woni-Inserat angezeigt wird, kann das verschiedene Ursachen haben:
- Das Quellinserat ist eine Suchanfrage. Suchanfragen werden nicht auf woni publiziert.
- Die Adresse konnte vom Quellinserat nicht richtig übernommen werden. Dann Mirco melden.
- Es wurde eine Typenzuordnung gemacht, welche nicht auf woni verfügbar ist.
Falsche Typenzuordnung[Bearbeiten]
Die Typenzuordnung wird mittels "Regular Expressions" gemacht, welche entweder den Typesub oder (Titel, Typesub und Beschreibung) nach dem Liegenschaftstyp analysiert. Wird eine falsche Typenzuordnung gemacht (z.B. WG-Zimmer statt Wohnung), so muss geprüft werden, welcher RegEx gematched hat. Dazu auf http://192.168.100.102:8081/app.php/showtable/Types die Nummer vom falsch zugeordneten Liegenschaftstypen nachschlagen z.B. WG-Zimmer statt Wohnung. Eine Tabelle sämtlicher verwendeter RegEx und die dazugehörende Klassifizierung ist auf http://192.168.100.102:8081/app.php/showtable/ReplacesRegex zu finden. Die Spalte "regexsearch" enthält den RegEx, die Spalte "regexreplace" enthält die Nummer des Liegenschafts-Typs. Am besten die Liste nach "regexreplace" filtern, um sämtliche Typen zusammen zu sehen. Besteht bereits ein ähnlicher/passender Regex, so kann dieser angepasst werden, ansonsten einen neuen erstellen. Egal, welcher Weg gewählt wird: Die RegEx-Kandidaten müssen zwingend auf https://myregextester.com/index.php#sourcetab auf Eindeutigkeit überprüft werden. Dabei schauen, dass die flags "smi" gesetzt sind. 's' heisst, dass der Punkt alle Zeichen inkl. Leerschlag findet, 'm' steht für multiline und 'i' für case-sensitive. Wird der zu matchende Text eindeutig identifiziert und eine klug gewählte Kontrolle nicht, so ist eine eindeutige Zuordnung wahrscheinlich.
Einen bestehenden RegEx ändern
- Den bestehenden RegEx öffnen
- Bei "regexsearch" den geänderten RegEx eintragen
- Speichern
Einen neuen RegEx eintragen
- Ein neues Regex Objekt via "Menu/Ersetzungen Regex" erstellen
- Auf "Felder" klicken, um alle Felder anzuzeigen
- "regexsearch": Hier die erstellte RegEx eintragen
- "regexreplace": Hier die dazugehörige Typen-Nummer eintragen. Eine Liste sämtlicher Typen findet sich auf http://192.168.100.102:8081/app.php/showtable/Types Achtung: Nicht alle Typen werden auf woni.ch verwendet.
- "sortposition": Hier die Priorität eintragen. Dazu in der RegEx Tabelle schauen, wo ähnliche Einträge positioniert sind.
- Speichern
Qualitätssicherung: Beim nächsten Inseratevergleich prüfen, ob die Zuordnung stimmt.
Falsche Angaben[Bearbeiten]
Werden Angaben wie Preis, Beschreibung, Anzahl Zimmer etc. falsch angezeigt, so wurden sie vermutlich falsch geparst oder das Inserat wurde zwischenzeitlich geändert. Am besten wird das Inserat im Testmodus geparst und geschaut, ob die Angaben korrekt sind. Falls sie falsch bleiben, so muss die configs.js der entsprechenden Quelle angepasst werden und bei den wichtigen Parametern die betroffenen Inserate neu geparst werden:
Neuspidern von allen Inseraten einer Source[Bearbeiten]
Prüfen, ob Inserate vorhanden sind:
SELECT * FROM [ilbasis].[dbo].[advertisementsraw] where [fksource] = 1726 and datumto > '2021-04-15 00:00:00'
SELECT * FROM [ilbasis].[dbo].[crwlinks] where [fksource] = 1726 and [modifieddate] > '2021-04-15 00:00:00'
Dann Neuspidern veranlassen:
UPDATE [ilbasis].[dbo].[advertisementsraw] SET [gettingcounter] = 0 , [firstgetdate] = NULL , [secondgetdate] = NULL , [advertsmallhash] = NULL where [fksource] = 1726 and datumto > '2021-04-15 00:00:00'
UPDATE [ilbasis].[dbo].[crwlinks] SET [resultlistsmallhash] = NULL where [fksource] = 1726 and [modifieddate] > '2021-04-15 00:00:00'
Wenn nur Inserate mit einem bestimmten Parameter geparst werden sollen, dann diesen anfügen:
and rentyearm2excl IS NOT NULL and rentyearm2excl > 0
Neuspidern von einem bestimmten Inserat[Bearbeiten]
Prüfen, ob Inserate vorhanden sind:
SELECT * FROM [ilbasis].[dbo].[advertisementsraw] where [fksource] = 1726 and pk_id = 38103268
UPDATE [ilbasis].[dbo].[advertisementsraw] SET [gettingcounter] = 0 , [firstgetdate] = NULL , [secondgetdate] = NULL , [advertsmallhash] = NULL where [fksource] = 1726 and pk_id = 38103268
SELECT * FROM [ilbasis].[dbo].[crwlinks] where [fksource] = 1726 AND linktoget like 'https://flatfox.ch/de/wohnung/unterstrasse-52-9000-st-gallen/135267/'
UPDATE [ilbasis].[dbo].[crwlinks] SET [resultlistsmallhash] = NULL where [fksource] = 1726 AND linktoget like 'https://flatfox.ch/de/wohnung/unterstrasse-52-9000-st-gallen/135267/'
Exotentyp-matching[Bearbeiten]
Fehlzuordnungen bei exotischen Liegenschaftstypen können auf einfache Weise erkannt werden:
1. Weg
- In einer Grossstadt nach Land, Parkplatz, Ferienhaus etc. im Mietmodus suchen
- Nach Preis sortieren und offensichtliche Fehlzuordnungen erkennen (z.B. Mietpreis von 1500 bei Parkplätzen)
2. Weg
- In einer Grossstadt nach Land, Parkplatz etc. im Kaufmodus suchen
- Nach Preis sortieren und offensichtliche Fehlzuordnungen erkennen (z.B. wenn eine Miete angegeben wurde)