Virtual Machines

Aus redmouth wiki
Zur Navigation springen Zur Suche springen

Die Spider laufen auf virtuellen Maschinen, welche über das Programm VMware gesteuert werden. Davon gibt es zwei Instanzen:

Die Spider laufen auf drei Servern

  1. Server 192.168.100.111 beherbergt die Spider 01, 02, 05 sowie die VMs der Mitarbeitenden von woni.ch sowie die VPN-Router
  2. Server 192.168.100.115 beherbergt die meisten Spider, untr anderem Spider 20
  3. Server 192.168.100.114 beherbergt die Spider 50-58

Spezielle Spider:

spi_05 Serialspider: Spidert die kleineren Immobilienplattformen spi_20 Benu: Spidert Coop und Zurrose spi_63-65 Benu: Spidern Amavita

Nomenklatur: spi_01_Comparis: Spider Nummer 1 spidert Comparis spi_47_hg_VPN1: Spider Nummer 47 spidert homegate und läuft mittels VPN technologie via Router 1.

Die einzelnen VMs können vom Hauptbildschirm mit einem Rechtsklick auf den Namen im Register "Betrieb" heruntergefahren oder neugestartet werden. Mit einem Rechtsklick kann man auch die Konsole öffnen, wenn die VM direkt angesteuert werden muss, z.B. bei der Problembehebung.

Das Hauptskript heisst local_ps und ist auf dem Desktop und wird mittels verknüpfung im Autostart oder in der Registry unter "HKEY_LOCAL_MACHINE\Software\Microsoft\Windows\CurrentVersion\Run". Dieses Skript startet alle Prozesse, die für das Spidering nötig sind, und erzeugt die Laufwerke F: und H:.

Fehlerbehebung[Bearbeiten]

In der Software VMware den Spider rechtsklicken und mittels "Konsole öffnen" auf den Bildschirm zugreifen. Falls die VM-Konsole beim Öffnen einen schwarzen Bildschirm zeigt: VM befindet sich in einem Standby Modus. Klick auf den schwarzen Bildschirm zeigt den Bildschirm.


Falls die Spider nach Klick auf "OK" nicht weiterlaufen, dann die VM neustarten.

Fixes in Prüfung

  • Netzwerkpfad nicht gefunden: Unter "HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Policies\System" ein DWORD mit Name "EnableLinkedConnections" und Wert 1 erstellen, neustarten.
  • local_ps: Auf C:\ verschieben & Registry anpassen, sofern noch nicht getan, dann Hypernate deaktivieren: C:\Windows\System32\cmd.exe als Administrator ausführen, dann "powercfg /H OFF" ausführen, neustarten.

Spidering unterbrechen[Bearbeiten]

Muss ein technischer Eingriff auf dem Clienten vorgenommen werden, so können die Spider-Programme stören. In diesem Fall sollten die Skripte in dieser Reihenfolge gestoppt werden:

  1. local_ps
  2. processwatcher
  3. alle executors
  4. automation/kauf mieten
  5. getlist
  6. detailsites bzw. alle übrigen Skripte

Nach dem Eingriff den Clienten neustarten und prüfen, ob die Skripte wieder starten.


How to reactivate an already exisiting Spidering client[Bearbeiten]

Prepare ImmoLex tables[Bearbeiten]

Table “Spideringclient”

Add a new or modify the following parameters of an existing entry:

  • Spidername: spi_xx (xx = number of the Spiclient, currently 01-99)
  • fkSource: Sourcename
  • internalip: IP address of the spiderclient that is not yet in use. Do not change if already setup. Check with Mirco

Table “resultlist”

The resultlist entries for the source should already exist.

  • If several spiderclients are setup for one source, distribute the spiderclients among the resultlists.
  • field "spiderclient": Change new spidername in the resultlists entry of the given source.
  • If there are many resultlists to change, please consider a rebalancing of the resultlists

Prepare the Spider Client in VMware[Bearbeiten]

  1. Start spider client
  2. Select «habe sie kopiert» and confirm with OK
  3. Wait until started. Stop the starting bootscript.js by pressing CTRL+C.
  4. Check if the task “SPISTART” is correctly setup (use the same task of a working spider as template)
  5. Check if shell:startup does only contain desktop.ini
  6. Check if spider client name is spi_xx, if not change to it (right click on “Dieser Computer” / Eigenschaften)
  7. Check if you have internet access. If not, change the network settings to get an IP address and DNS server automatically
  8. Install current working version of node.exe (5. Nov 2021: 16.5.0-x84) from “H:\crawler”. (Go through installation without changing the default settings.
  9. Delete folder Documents/scrimwe
  10. Restart PC
  11. Open command line (WIN + R, cmd) and change to folder “c:\users\spi_xx\documents\”
  12. Enter “git clone ssh://spiderclient@192.168.100.105:15236/var/git/spiderchromepuppeteer.git”
  13. Rename new folder spiderchromepuppeteer to scrimwe
  14. Restart VM
  15. Open command line and type "npm install –g npm@7.19.1" (current version for scraping)
  16. change to folder “Documents/scrimwe”
  17. type "npm install" (this step may cause troubles, do not waste too much time if anything fails)
  18. type "npm audit fix" if asked for and if necessary (if this does not resolve the vulnerabilities, just continue)
  19. Create folders “restorepoints” and “parsingtestresults” in the directory “Documents/scrimwe/sources/SOURCENAME/”
  20. Restart VM
  21. Start bootscript.js and wait until new code has been fetched.
  22. Stop the script
  23. Restart VM
  24. Check if everything works fine

Distribute Ressources to the clients[Bearbeiten]

If the spiderclients have too less power, add ressources to the VM.

Hochfahren eines Spider-Clients[Bearbeiten]

Nachfolgende Punkte sind zu konfigurieren, wenn ein neuer Spider-Client hoch gefahren wird. Eine Übersicht über das Template gibt es hier.

- VM kopiert anwählen

- computernamen ändern (z.B. spi_03)

- zywall einrichten (DHCP, Objekte->Address , Routing)

- ipcachecookierouetine.vbs anpassen (COMPUTERNAME NUR MIT GROSSBUCHSTABEN)

- SpideringStartscript in ImmoLex für jeweiliges hinzufügen

- Log bei Imacros unter management -> optionen -> path ENTFERNEN


 INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
 VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_01','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\comparis.ch\Automation.vbs',1);
 INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
 VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_02','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\comparis.ch\Automation.vbs',1);
 INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
 VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_03','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\comparis.ch\Automation.vbs',1);
 INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
 VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_04','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\tutti.ch\tutti.ch_Automation.vbs',1);
 INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
 VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_05','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\wgzimmer.ch\Automation.vbs',1);
 INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
 VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_05','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\immomailing.ch\Automation.vbs',1);
 INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
 VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_06','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\neubauprojekte.ch\Automation.vbs',1);
 INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
 VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_07','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\comparis.ch\Automation.vbs',1);
 INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
 VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_08','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\homegate.ch\0_KaufMiete.vbs',1);
 INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
 VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_09','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\homegate.ch\0_KaufMiete.vbs',1);
 INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
 VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_10','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\homegate.ch\0_KaufMiete.vbs',1);
 INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
 VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_12','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\homegate.ch\0_KaufMiete.vbs',1);
INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_11','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\comparis.ch\Automation.vbs',1);
INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_13','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\comparis.ch\Automation.vbs',1);
INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_14','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\comparis.ch\Automation.vbs',1);
INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_15','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\comparis.ch\Automation.vbs',1);
INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_16','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\homegate.ch\0_KaufMiete.vbs',1);
INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_17','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\comparis.ch\Automation.vbs',1);
INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_18','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\comparis.ch\Automation.vbs',1);
INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_19','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\homegate.ch\0_KaufMiete.vbs',1);


Installation of a new VM user[Bearbeiten]

Visual Studio[Bearbeiten]

Installation[Bearbeiten]

  • Install Microsoft Visual Studio Code

Configuration[Bearbeiten]

  • Scraping requires Google Chrome installed in the "C:\Program Files (86)\Google\Chrome" folder. If it is installed in "C:\Program Files\Google\Chrome" or else open command prompt as administrator and to link both folders, type
mklink /J "C:\Program Files (x86)\Google\Chrome\" "C:\Program Files\Google\Chrome"


  • Setup launch.js with this code:
new visual studio
{
    // Use IntelliSense to learn about possible attributes.
    // Hover to view descriptions of existing attributes.
    // For more information, visit: https://go.microsoft.com/fwlink/?linkid=830387
    "version": "0.2.0",
    "configurations": [
        {
            "type": "pwa-node",
            "request": "launch",
            "name": "Launch Program",
            "skipFiles": [
                "<node_internals>/**"
            ],
            "program": "${workspaceFolder}\\bootscript.js"
            // "program": "${workspaceFolder}\\sources\\homegate.ch\\detail-test.js"
        }
    ]
}

Windows[Bearbeiten]

Computer name[Bearbeiten]

Set the correct computer name

Network drives[Bearbeiten]

  • Open explorer and right-click on "This computer"
  • using "connect network drive", add the two drives:
- F: \\192.168.100.28\g
- H: \\192.168.100.28\h