Virtual Machines
Die Spider laufen auf virtuellen Maschinen, welche über das Programm VMware gesteuert werden. Davon gibt es zwei Instanzen:
Die Spider laufen auf drei Servern
- Server 192.168.100.111 beherbergt die Spider 01, 02, 05 sowie die VMs der Mitarbeitenden von woni.ch sowie die VPN-Router
- Server 192.168.100.115 beherbergt die meisten Spider, untr anderem Spider 20
- Server 192.168.100.114 beherbergt die Spider 50-58
Spezielle Spider:
spi_05 Serialspider: Spidert die kleineren Immobilienplattformen spi_20 Benu: Spidert Coop und Zurrose spi_63-65 Benu: Spidern Amavita
Nomenklatur: spi_01_Comparis: Spider Nummer 1 spidert Comparis spi_47_hg_VPN1: Spider Nummer 47 spidert homegate und läuft mittels VPN technologie via Router 1.
Die einzelnen VMs können vom Hauptbildschirm mit einem Rechtsklick auf den Namen im Register "Betrieb" heruntergefahren oder neugestartet werden. Mit einem Rechtsklick kann man auch die Konsole öffnen, wenn die VM direkt angesteuert werden muss, z.B. bei der Problembehebung.
Das Hauptskript heisst local_ps und ist auf dem Desktop und wird mittels verknüpfung im Autostart oder in der Registry unter "HKEY_LOCAL_MACHINE\Software\Microsoft\Windows\CurrentVersion\Run". Dieses Skript startet alle Prozesse, die für das Spidering nötig sind, und erzeugt die Laufwerke F: und H:.
Fehlerbehebung[Bearbeiten]
In der Software VMware den Spider rechtsklicken und mittels "Konsole öffnen" auf den Bildschirm zugreifen. Falls die VM-Konsole beim Öffnen einen schwarzen Bildschirm zeigt: VM befindet sich in einem Standby Modus. Klick auf den schwarzen Bildschirm zeigt den Bildschirm.
-
Das VPN Programm hängt sich beim Laden auf. Temporäre Lösung: VM neustarten.
-
Eine Verbindung wurde vom Remotehost geschlossen: Mit OK bestätigen und prüfen, ob Spider weiterläuft.
-
Die Datei ist bereits vorhanden: Mit OK bestätigen und prüfen, ob Spider weiterläuft.
-
Erlaubnis verweigert: Mit OK bestätigen und prüfen, ob Spider weiterläuft.
-
Falls der Spider untätig ist, kann er mit Beenden vom Skript "GetDatafilesFromInet" wiederbelebt werden
-
Query timeout: Mit OK bestätigen und prüfen, ob Spider weiterläuft. Fehler protokollieren und melden, falls er mehrmals auftritt.
-
Netzwerkpfad wurde nicht gefunden: Netzwerklaufwerke konnten nicht verbunden werden. Mit OK bestätigen und Aktivität überprüfen.
-
Verbindung reCAPTCHA nicht möglich: Fehler mit OK bestätigen und prüfen, ob Spider weiterläuft.
Falls die Spider nach Klick auf "OK" nicht weiterlaufen, dann die VM neustarten.
Fixes in Prüfung
- Netzwerkpfad nicht gefunden: Unter "HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Policies\System" ein DWORD mit Name "EnableLinkedConnections" und Wert 1 erstellen, neustarten.
- local_ps: Auf C:\ verschieben & Registry anpassen, sofern noch nicht getan, dann Hypernate deaktivieren: C:\Windows\System32\cmd.exe als Administrator ausführen, dann "powercfg /H OFF" ausführen, neustarten.
Spidering unterbrechen[Bearbeiten]
Muss ein technischer Eingriff auf dem Clienten vorgenommen werden, so können die Spider-Programme stören. In diesem Fall sollten die Skripte in dieser Reihenfolge gestoppt werden:
- local_ps
- processwatcher
- alle executors
- automation/kauf mieten
- getlist
- detailsites bzw. alle übrigen Skripte
Nach dem Eingriff den Clienten neustarten und prüfen, ob die Skripte wieder starten.
How to reactivate an already exisiting Spidering client[Bearbeiten]
Prepare ImmoLex tables[Bearbeiten]
Table “Spideringclient”
Add a new or modify the following parameters of an existing entry:
- Spidername: spi_xx (xx = number of the Spiclient, currently 01-99)
- fkSource: Sourcename
- internalip: IP address of the spiderclient that is not yet in use. Do not change if already setup. Check with Mirco
Table “resultlist”
The resultlist entries for the source should already exist.
- If several spiderclients are setup for one source, distribute the spiderclients among the resultlists.
- field "spiderclient": Change new spidername in the resultlists entry of the given source.
- If there are many resultlists to change, please consider a rebalancing of the resultlists
Prepare the Spider Client in VMware[Bearbeiten]
- Start spider client
- Select «habe sie kopiert» and confirm with OK
- Wait until started. Stop the starting bootscript.js by pressing CTRL+C.
- Check if the task “SPISTART” is correctly setup (use the same task of a working spider as template)
- Check if shell:startup does only contain desktop.ini
- Check if spider client name is spi_xx, if not change to it (right click on “Dieser Computer” / Eigenschaften)
- Check if you have internet access. If not, change the network settings to get an IP address and DNS server automatically
- Install current working version of node.exe (5. Nov 2021: 16.5.0-x84) from “H:\crawler”. (Go through installation without changing the default settings.
- Delete folder Documents/scrimwe
- Restart PC
- Open command line (WIN + R, cmd) and change to folder “c:\users\spi_xx\documents\”
- Enter “git clone ssh://spiderclient@192.168.100.105:15236/var/git/spiderchromepuppeteer.git”
- Rename new folder spiderchromepuppeteer to scrimwe
- Restart VM
- Open command line and type "npm install –g npm@7.19.1" (current version for scraping)
- change to folder “Documents/scrimwe”
- type "npm install" (this step may cause troubles, do not waste too much time if anything fails)
- type "npm audit fix" if asked for and if necessary (if this does not resolve the vulnerabilities, just continue)
- Create folders “restorepoints” and “parsingtestresults” in the directory “Documents/scrimwe/sources/SOURCENAME/”
- Restart VM
- Start bootscript.js and wait until new code has been fetched.
- Stop the script
- Restart VM
- Check if everything works fine
Distribute Ressources to the clients[Bearbeiten]
If the spiderclients have too less power, add ressources to the VM.
Hochfahren eines Spider-Clients[Bearbeiten]
Nachfolgende Punkte sind zu konfigurieren, wenn ein neuer Spider-Client hoch gefahren wird. Eine Übersicht über das Template gibt es hier.
- VM kopiert anwählen
- computernamen ändern (z.B. spi_03)
- zywall einrichten (DHCP, Objekte->Address , Routing)
- ipcachecookierouetine.vbs anpassen (COMPUTERNAME NUR MIT GROSSBUCHSTABEN)
- SpideringStartscript in ImmoLex für jeweiliges hinzufügen
- Log bei Imacros unter management -> optionen -> path ENTFERNEN
INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption) VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_01','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\comparis.ch\Automation.vbs',1); INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption) VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_02','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\comparis.ch\Automation.vbs',1); INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption) VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_03','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\comparis.ch\Automation.vbs',1); INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption) VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_04','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\tutti.ch\tutti.ch_Automation.vbs',1); INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption) VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_05','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\wgzimmer.ch\Automation.vbs',1); INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption) VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_05','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\immomailing.ch\Automation.vbs',1); INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption) VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_06','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\neubauprojekte.ch\Automation.vbs',1); INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption) VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_07','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\comparis.ch\Automation.vbs',1); INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption) VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_08','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\homegate.ch\0_KaufMiete.vbs',1); INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption) VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_09','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\homegate.ch\0_KaufMiete.vbs',1); INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption) VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_10','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\homegate.ch\0_KaufMiete.vbs',1); INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption) VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_12','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\homegate.ch\0_KaufMiete.vbs',1); INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption) VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_11','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\comparis.ch\Automation.vbs',1); INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption) VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_13','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\comparis.ch\Automation.vbs',1); INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption) VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_14','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\comparis.ch\Automation.vbs',1); INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption) VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_15','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\comparis.ch\Automation.vbs',1); INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption) VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_16','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\homegate.ch\0_KaufMiete.vbs',1); INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption) VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_17','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\comparis.ch\Automation.vbs',1); INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption) VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_18','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\comparis.ch\Automation.vbs',1); INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption) VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_19','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\homegate.ch\0_KaufMiete.vbs',1);
Installation of a new VM user[Bearbeiten]
Visual Studio[Bearbeiten]
Installation[Bearbeiten]
- Install Microsoft Visual Studio Code
Configuration[Bearbeiten]
- Scraping requires Google Chrome installed in the "C:\Program Files (86)\Google\Chrome" folder. If it is installed in "C:\Program Files\Google\Chrome" or else open command prompt as administrator and to link both folders, type
mklink /J "C:\Program Files (x86)\Google\Chrome\" "C:\Program Files\Google\Chrome"
- Setup launch.js with this code:
new visual studio
{
// Use IntelliSense to learn about possible attributes.
// Hover to view descriptions of existing attributes.
// For more information, visit: https://go.microsoft.com/fwlink/?linkid=830387
"version": "0.2.0",
"configurations": [
{
"type": "pwa-node",
"request": "launch",
"name": "Launch Program",
"skipFiles": [
"<node_internals>/**"
],
"program": "${workspaceFolder}\\bootscript.js"
// "program": "${workspaceFolder}\\sources\\homegate.ch\\detail-test.js"
}
]
}
Windows[Bearbeiten]
Computer name[Bearbeiten]
Set the correct computer name
Network drives[Bearbeiten]
- Open explorer and right-click on "This computer"
- using "connect network drive", add the two drives:
- F: \\192.168.100.28\g - H: \\192.168.100.28\h