Virtual Machines: Unterschied zwischen den Versionen

Aus redmouth wiki
Zur Navigation springen Zur Suche springen
Fueeg (Diskussion | Beiträge)
Fueeg (Diskussion | Beiträge)
Markierung: wikieditor
 
(25 dazwischenliegende Versionen desselben Benutzers werden nicht angezeigt)
Zeile 1: Zeile 1:
Die Spider laufen auf virtuellen Maschinen, welche über das Programm VMware gesteuert werden. Davon gibt es zwei Instanzen:
Die [[Spider|Spider]] laufen auf virtuellen Maschinen, welche über das Programm VMware gesteuert werden. Davon gibt es zwei Instanzen:


Der Server endend auf 111 ist ein Testserver (?), auf dem spider 01, 02, 05, 07, 11 und 18 laufen
Die Spider laufen auf drei Servern
spi_01 Comparis
# Server 192.168.100.111 beherbergt die Spider 01, 02, 05 sowie die VMs der Mitarbeitenden von woni.ch sowie die [[VPN-Router|VPN-Router]]
spi_02 Comparis
# Server 192.168.100.115 beherbergt die meisten Spider, untr anderem Spider 20
spi_05 Serialspider (spidert die kleineren Immobilienplattformen)
# Server 192.168.100.114 beherbergt die Spider 50-58
spi_07 Comparis
spi_11 Comparis
spi_18 Comparis


Der Server endend auf 115 beherbergt die meisten Spiders:
Spezielle Spider:
spi_03, spi_04, spi_06, spi_08, spi_09, spi_10, spi_12-17, spi_19-49 (spi_20 ist BENU)
 
spi_05 Serialspider: Spidert die kleineren Immobilienplattformen
spi_20 Benu: Spidert Coop und Zurrose
spi_63-65 Benu: Spidern Amavita
 
Nomenklatur:
spi_01_Comparis: Spider Nummer 1 spidert Comparis
spi_47_hg_VPN1: Spider Nummer 47 spidert homegate und läuft mittels VPN technologie via Router 1.


Die einzelnen VMs können vom Hauptbildschirm mit einem Rechtsklick auf den Namen im Register "Betrieb" heruntergefahren oder neugestartet werden. Mit einem Rechtsklick kann man auch die Konsole öffnen, wenn die VM direkt angesteuert werden muss, z.B. bei der Problembehebung.
Die einzelnen VMs können vom Hauptbildschirm mit einem Rechtsklick auf den Namen im Register "Betrieb" heruntergefahren oder neugestartet werden. Mit einem Rechtsklick kann man auch die Konsole öffnen, wenn die VM direkt angesteuert werden muss, z.B. bei der Problembehebung.


Das Hauptskript heisst local_ps und ist auf dem Desktop und wird mittels verknüpfung im Autostart oder in der Registry unter "HKEY_CURRENT_USER\Software\Microsoft\Windows\CurrentVersion\Run". Dieses Skript startet alle Prozesse, die für das Spidering nötig sind.  
Das Hauptskript heisst local_ps und ist auf dem Desktop und wird mittels verknüpfung im Autostart oder in der Registry unter "HKEY_LOCAL_MACHINE\Software\Microsoft\Windows\CurrentVersion\Run". Dieses Skript startet alle Prozesse, die für das Spidering nötig sind, und erzeugt die Laufwerke F: und H:.


== Fehlerbehebung ==
== Fehlerbehebung ==
 
In der Software VMware den Spider rechtsklicken und mittels "Konsole öffnen" auf den Bildschirm zugreifen. Falls die VM-Konsole beim Öffnen einen schwarzen Bildschirm zeigt: VM befindet sich in einem Standby Modus. Klick auf den schwarzen Bildschirm zeigt den Bildschirm.
Falls die VM-Konsole beim Öffnen einen schwarzen Bildschirm zeigt: VM befindet sich in einem standby Modus. Klick auf den schwarzen Bildschirm zeigt den Bildschirm.


<gallery>
<gallery>
VM VPNstuck.jpg|Das VPN Programm hängt sich auf beim Laden. Temporäre Lösung: VM neustarten.
VM VPNstuck.jpg|Das VPN Programm hängt sich beim Laden auf. Temporäre Lösung: VM neustarten.
VMerr path.png|Der Pfad wurde nicht gefunden: Box mit "OK" bestätigen und Skript manuell neustarten.
VMerr ConLost.png|''' Eine Verbindung wurde vom Remotehost geschlossen:''' Mit OK bestätigen und prüfen, ob Spider weiterläuft.
VMerr ConLost.png|Eine Verbindung wurde vom Remotehost geschlossen: Mit OK bestätigen und prüfen, ob Spider weiterläuft.
VMerr Dateivorhanden.png|''' Die Datei ist bereits vorhanden:''' Mit OK bestätigen und prüfen, ob Spider weiterläuft.
VMerr Dateivorhanden.png|Die Datei ist bereits vorhanden: Mit OK bestätigen und prüfen, ob Spider weiterläuft.
VMerr ErlVerw.png|''' Erlaubnis verweigert:''' Mit OK bestätigen und prüfen, ob Spider weiterläuft.
VMerr ErlVerw.png|Erlaubnis verweigert: Mit OK bestätigen und prüfen, ob Spider weiterläuft.
VM End GetList.png|Falls der Spider untätig ist, kann er mit Beenden vom Skript "GetDatafilesFromInet" wiederbelebt werden
VM End GetList.png|Falls der Spider untätig ist, kann er mit Beenden vom Skript "GetDatafilesFromInet" wiederbelebt werden
VMerr QueryTimeout.png|'''Query timeout:''' Mit OK bestätigen und prüfen, ob Spider weiterläuft. Fehler protokollieren und melden, falls er mehrmals auftritt.
VMerr networkpath.png|'''Netzwerkpfad wurde nicht gefunden:''' Netzwerklaufwerke konnten nicht verbunden werden. Mit OK bestätigen und Aktivität überprüfen.
VMerr VPN reCAPT.jpg|'''Verbindung reCAPTCHA nicht möglich:''' Fehler mit OK bestätigen und prüfen, ob Spider weiterläuft.
</gallery>
</gallery>
Falls die Spider nach Klick auf "OK" nicht weiterlaufen, dann die VM neustarten.
''' Fixes in Prüfung '''
* Netzwerkpfad nicht gefunden: Unter "HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Policies\System" ein DWORD mit Name "EnableLinkedConnections" und Wert 1 erstellen, neustarten.
* local_ps: Auf C:\ verschieben & Registry anpassen, sofern noch nicht getan, dann Hypernate deaktivieren: C:\Windows\System32\cmd.exe als Administrator ausführen, dann "powercfg /H OFF" ausführen, neustarten.
== Spidering unterbrechen ==
Muss ein technischer Eingriff auf dem Clienten vorgenommen werden, so können die Spider-Programme stören. In diesem Fall sollten die Skripte in dieser Reihenfolge gestoppt werden:
# local_ps
# processwatcher
# alle executors
# automation/kauf mieten
# getlist
# detailsites bzw. alle übrigen Skripte
Nach dem Eingriff den Clienten neustarten und prüfen, ob die Skripte wieder starten.
== How to reactivate an already exisiting Spidering client ==
=== Prepare ImmoLex tables ===
'''Table “Spideringclient”'''
Add a new or modify the following parameters of an existing entry:
* Spidername: spi_xx (xx = number of the Spiclient, currently 01-99)
* fkSource: Sourcename
* internalip: IP address of the spiderclient that is not yet in use. Do not change if already setup. Check with Mirco
'''Table “resultlist”'''
The resultlist entries for the source should already exist.
* If several spiderclients are setup for one source, distribute the spiderclients among the resultlists.
* field "spiderclient": Change new spidername in the resultlists entry of the given source.
* If there are many resultlists to change, please consider a rebalancing of the resultlists
=== Prepare the Spider Client in VMware ===
# Start spider client
# Select «habe sie kopiert» and confirm with OK
# Wait until started. Stop the starting bootscript.js by pressing CTRL+C.
# Check if the task “SPISTART” is correctly setup (use the same task of a working spider as template)
# Check if shell:startup does only contain desktop.ini
# Check if spider client name is spi_xx, if not change to it (right click on “Dieser Computer” / Eigenschaften)
# Check if you have internet access. If not, change the network settings to get an IP address and DNS server automatically
# Install current working version of node.exe (5. Nov 2021: 16.5.0-x84) from “H:\crawler”. (Go through installation without changing the default settings.
# Delete folder Documents/scrimwe
# Restart PC
# Open command line (WIN + R, cmd) and change to folder “c:\users\spi_xx\documents\”
# Enter “git clone ssh://spiderclient@192.168.100.105:15236/var/git/spiderchromepuppeteer.git”
# Rename new folder spiderchromepuppeteer to scrimwe
# Restart VM
# Open command line and type "npm install –g npm@7.19.1" (current version for scraping)
# change to folder “Documents/scrimwe”
# type "npm install" (this step may cause troubles, do not waste too much time if anything fails)
# type "npm audit fix" if asked for and if necessary (if this does not resolve the vulnerabilities, just continue)
# Create folders “restorepoints” and “parsingtestresults” in the directory “Documents/scrimwe/sources/SOURCENAME/”
# Restart VM
# Start bootscript.js and wait until new code has been fetched.
# Stop the script
# Restart VM
# Check if everything works fine
=== Distribute Ressources to the clients ===
If the spiderclients have too less power, add ressources to the VM.
== Hochfahren eines Spider-Clients ==
Nachfolgende Punkte sind zu konfigurieren, wenn ein neuer Spider-Client hoch gefahren wird. Eine Übersicht über das Template gibt es [[BASIS der SPI TEMPLATE VM|hier]].
- VM kopiert anwählen
- computernamen ändern (z.B. spi_03)
- zywall einrichten (DHCP, Objekte->Address , Routing)
- ipcachecookierouetine.vbs anpassen (COMPUTERNAME NUR MIT GROSSBUCHSTABEN)
- SpideringStartscript in ImmoLex für jeweiliges hinzufügen
- Log bei Imacros unter management -> optionen -> path ENTFERNEN
  INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
  VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_01','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\comparis.ch\Automation.vbs',1);
  INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
  VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_02','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\comparis.ch\Automation.vbs',1);
  INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
  VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_03','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\comparis.ch\Automation.vbs',1);
  INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
  VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_04','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\tutti.ch\tutti.ch_Automation.vbs',1);
  INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
  VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_05','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\wgzimmer.ch\Automation.vbs',1);
  INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
  VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_05','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\immomailing.ch\Automation.vbs',1);
  INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
  VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_06','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\neubauprojekte.ch\Automation.vbs',1);
  INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
  VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_07','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\comparis.ch\Automation.vbs',1);
  INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
  VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_08','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\homegate.ch\0_KaufMiete.vbs',1);
  INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
  VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_09','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\homegate.ch\0_KaufMiete.vbs',1);
  INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
  VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_10','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\homegate.ch\0_KaufMiete.vbs',1);
  INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
  VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_12','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\homegate.ch\0_KaufMiete.vbs',1);
INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_11','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\comparis.ch\Automation.vbs',1);
INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_13','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\comparis.ch\Automation.vbs',1);
INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_14','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\comparis.ch\Automation.vbs',1);
INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_15','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\comparis.ch\Automation.vbs',1);
INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_16','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\homegate.ch\0_KaufMiete.vbs',1);
INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_17','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\comparis.ch\Automation.vbs',1);
INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_18','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\comparis.ch\Automation.vbs',1);
INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_19','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\homegate.ch\0_KaufMiete.vbs',1);
= Installation of a new VM user =
== Visual Studio ==
=== Installation ===
* Install Microsoft Visual Studio Code
=== Configuration ===
* Scraping requires Google Chrome installed in the "C:\Program Files (86)\Google\Chrome" folder. If it is installed in "C:\Program Files\Google\Chrome" or else open command prompt as administrator and to link both folders, type
mklink /J "C:\Program Files (x86)\Google\Chrome\" "C:\Program Files\Google\Chrome"
* Setup launch.js with this code:
new visual studio
{
    // Use IntelliSense to learn about possible attributes.
    // Hover to view descriptions of existing attributes.
    // For more information, visit: https://go.microsoft.com/fwlink/?linkid=830387
    "version": "0.2.0",
    "configurations": [
        {
            "type": "pwa-node",
            "request": "launch",
            "name": "Launch Program",
            "skipFiles": [
                "<node_internals>/**"
            ],
            "program": "${workspaceFolder}\\bootscript.js"
            // "program": "${workspaceFolder}\\sources\\homegate.ch\\detail-test.js"
        }
    ]
}
== Windows ==
=== Computer name ===
Set the correct computer name
=== Network drives ===
* Open explorer and right-click on "This computer"
* using "connect network drive", add the two drives:
- F: \\192.168.100.28\g
- H: \\192.168.100.28\h

Aktuelle Version vom 8. August 2022, 13:20 Uhr

Die Spider laufen auf virtuellen Maschinen, welche über das Programm VMware gesteuert werden. Davon gibt es zwei Instanzen:

Die Spider laufen auf drei Servern

  1. Server 192.168.100.111 beherbergt die Spider 01, 02, 05 sowie die VMs der Mitarbeitenden von woni.ch sowie die VPN-Router
  2. Server 192.168.100.115 beherbergt die meisten Spider, untr anderem Spider 20
  3. Server 192.168.100.114 beherbergt die Spider 50-58

Spezielle Spider:

spi_05 Serialspider: Spidert die kleineren Immobilienplattformen spi_20 Benu: Spidert Coop und Zurrose spi_63-65 Benu: Spidern Amavita

Nomenklatur: spi_01_Comparis: Spider Nummer 1 spidert Comparis spi_47_hg_VPN1: Spider Nummer 47 spidert homegate und läuft mittels VPN technologie via Router 1.

Die einzelnen VMs können vom Hauptbildschirm mit einem Rechtsklick auf den Namen im Register "Betrieb" heruntergefahren oder neugestartet werden. Mit einem Rechtsklick kann man auch die Konsole öffnen, wenn die VM direkt angesteuert werden muss, z.B. bei der Problembehebung.

Das Hauptskript heisst local_ps und ist auf dem Desktop und wird mittels verknüpfung im Autostart oder in der Registry unter "HKEY_LOCAL_MACHINE\Software\Microsoft\Windows\CurrentVersion\Run". Dieses Skript startet alle Prozesse, die für das Spidering nötig sind, und erzeugt die Laufwerke F: und H:.

Fehlerbehebung[Bearbeiten]

In der Software VMware den Spider rechtsklicken und mittels "Konsole öffnen" auf den Bildschirm zugreifen. Falls die VM-Konsole beim Öffnen einen schwarzen Bildschirm zeigt: VM befindet sich in einem Standby Modus. Klick auf den schwarzen Bildschirm zeigt den Bildschirm.


Falls die Spider nach Klick auf "OK" nicht weiterlaufen, dann die VM neustarten.

Fixes in Prüfung

  • Netzwerkpfad nicht gefunden: Unter "HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Policies\System" ein DWORD mit Name "EnableLinkedConnections" und Wert 1 erstellen, neustarten.
  • local_ps: Auf C:\ verschieben & Registry anpassen, sofern noch nicht getan, dann Hypernate deaktivieren: C:\Windows\System32\cmd.exe als Administrator ausführen, dann "powercfg /H OFF" ausführen, neustarten.

Spidering unterbrechen[Bearbeiten]

Muss ein technischer Eingriff auf dem Clienten vorgenommen werden, so können die Spider-Programme stören. In diesem Fall sollten die Skripte in dieser Reihenfolge gestoppt werden:

  1. local_ps
  2. processwatcher
  3. alle executors
  4. automation/kauf mieten
  5. getlist
  6. detailsites bzw. alle übrigen Skripte

Nach dem Eingriff den Clienten neustarten und prüfen, ob die Skripte wieder starten.


How to reactivate an already exisiting Spidering client[Bearbeiten]

Prepare ImmoLex tables[Bearbeiten]

Table “Spideringclient”

Add a new or modify the following parameters of an existing entry:

  • Spidername: spi_xx (xx = number of the Spiclient, currently 01-99)
  • fkSource: Sourcename
  • internalip: IP address of the spiderclient that is not yet in use. Do not change if already setup. Check with Mirco

Table “resultlist”

The resultlist entries for the source should already exist.

  • If several spiderclients are setup for one source, distribute the spiderclients among the resultlists.
  • field "spiderclient": Change new spidername in the resultlists entry of the given source.
  • If there are many resultlists to change, please consider a rebalancing of the resultlists

Prepare the Spider Client in VMware[Bearbeiten]

  1. Start spider client
  2. Select «habe sie kopiert» and confirm with OK
  3. Wait until started. Stop the starting bootscript.js by pressing CTRL+C.
  4. Check if the task “SPISTART” is correctly setup (use the same task of a working spider as template)
  5. Check if shell:startup does only contain desktop.ini
  6. Check if spider client name is spi_xx, if not change to it (right click on “Dieser Computer” / Eigenschaften)
  7. Check if you have internet access. If not, change the network settings to get an IP address and DNS server automatically
  8. Install current working version of node.exe (5. Nov 2021: 16.5.0-x84) from “H:\crawler”. (Go through installation without changing the default settings.
  9. Delete folder Documents/scrimwe
  10. Restart PC
  11. Open command line (WIN + R, cmd) and change to folder “c:\users\spi_xx\documents\”
  12. Enter “git clone ssh://spiderclient@192.168.100.105:15236/var/git/spiderchromepuppeteer.git”
  13. Rename new folder spiderchromepuppeteer to scrimwe
  14. Restart VM
  15. Open command line and type "npm install –g npm@7.19.1" (current version for scraping)
  16. change to folder “Documents/scrimwe”
  17. type "npm install" (this step may cause troubles, do not waste too much time if anything fails)
  18. type "npm audit fix" if asked for and if necessary (if this does not resolve the vulnerabilities, just continue)
  19. Create folders “restorepoints” and “parsingtestresults” in the directory “Documents/scrimwe/sources/SOURCENAME/”
  20. Restart VM
  21. Start bootscript.js and wait until new code has been fetched.
  22. Stop the script
  23. Restart VM
  24. Check if everything works fine

Distribute Ressources to the clients[Bearbeiten]

If the spiderclients have too less power, add ressources to the VM.

Hochfahren eines Spider-Clients[Bearbeiten]

Nachfolgende Punkte sind zu konfigurieren, wenn ein neuer Spider-Client hoch gefahren wird. Eine Übersicht über das Template gibt es hier.

- VM kopiert anwählen

- computernamen ändern (z.B. spi_03)

- zywall einrichten (DHCP, Objekte->Address , Routing)

- ipcachecookierouetine.vbs anpassen (COMPUTERNAME NUR MIT GROSSBUCHSTABEN)

- SpideringStartscript in ImmoLex für jeweiliges hinzufügen

- Log bei Imacros unter management -> optionen -> path ENTFERNEN


 INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
 VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_01','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\comparis.ch\Automation.vbs',1);
 INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
 VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_02','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\comparis.ch\Automation.vbs',1);
 INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
 VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_03','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\comparis.ch\Automation.vbs',1);
 INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
 VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_04','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\tutti.ch\tutti.ch_Automation.vbs',1);
 INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
 VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_05','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\wgzimmer.ch\Automation.vbs',1);
 INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
 VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_05','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\immomailing.ch\Automation.vbs',1);
 INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
 VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_06','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\neubauprojekte.ch\Automation.vbs',1);
 INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
 VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_07','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\comparis.ch\Automation.vbs',1);
 INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
 VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_08','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\homegate.ch\0_KaufMiete.vbs',1);
 INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
 VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_09','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\homegate.ch\0_KaufMiete.vbs',1);
 INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
 VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_10','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\homegate.ch\0_KaufMiete.vbs',1);
 INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
 VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_12','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\homegate.ch\0_KaufMiete.vbs',1);
INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_11','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\comparis.ch\Automation.vbs',1);
INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_13','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\comparis.ch\Automation.vbs',1);
INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_14','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\comparis.ch\Automation.vbs',1);
INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_15','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\comparis.ch\Automation.vbs',1);
INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_16','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\homegate.ch\0_KaufMiete.vbs',1);
INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_17','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\comparis.ch\Automation.vbs',1);
INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_18','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\comparis.ch\Automation.vbs',1);
INSERT INTO [ilbasis].[dbo].[spideringstartscript](createddate,modifieddate,datum,spiclientname,commandtoexecute,windowoption)
VALUES(GETDATE(),GETDATE(),GETDATE(),'SPI_19','C:\Windows\SysWOW64\wscript.exe H:\Crawler\Macros\immocrawler\homegate.ch\0_KaufMiete.vbs',1);


Installation of a new VM user[Bearbeiten]

Visual Studio[Bearbeiten]

Installation[Bearbeiten]

  • Install Microsoft Visual Studio Code

Configuration[Bearbeiten]

  • Scraping requires Google Chrome installed in the "C:\Program Files (86)\Google\Chrome" folder. If it is installed in "C:\Program Files\Google\Chrome" or else open command prompt as administrator and to link both folders, type
mklink /J "C:\Program Files (x86)\Google\Chrome\" "C:\Program Files\Google\Chrome"


  • Setup launch.js with this code:
new visual studio
{
    // Use IntelliSense to learn about possible attributes.
    // Hover to view descriptions of existing attributes.
    // For more information, visit: https://go.microsoft.com/fwlink/?linkid=830387
    "version": "0.2.0",
    "configurations": [
        {
            "type": "pwa-node",
            "request": "launch",
            "name": "Launch Program",
            "skipFiles": [
                "<node_internals>/**"
            ],
            "program": "${workspaceFolder}\\bootscript.js"
            // "program": "${workspaceFolder}\\sources\\homegate.ch\\detail-test.js"
        }
    ]
}

Windows[Bearbeiten]

Computer name[Bearbeiten]

Set the correct computer name

Network drives[Bearbeiten]

  • Open explorer and right-click on "This computer"
  • using "connect network drive", add the two drives:
- F: \\192.168.100.28\g
- H: \\192.168.100.28\h