Zugriff auf viele Server optimieren

18/09/2008 - 21:25 von Skee | Report spam
Hallo,

Ich bastel gerade ein Bash-Script, welches auf knapp 2000 Server per scp
zugreif, dort eine Datei abholt und entsprechend weiterverarbeitet.
Aktuell ist es so, dass die Servernamen zeilenweise in einer Datei
stehen. Dort werden sie nacheinender mit einer Schleife ausgelesen und
dann wird nach jeder Zeile die scp-Verbindung hergestellt.
Das Script lief jetzt noch nicht über alle Maschinen, aber ich sehe
schon, dass ich pro Maschine ca 1 Sekunde brauche. Also ingesamt knapp
33 Minuten pro Durchlauf.

Ich würde die Geschwindigkeit jetzt gerne irgendwie optimieren, so dass
ich das Script möglichst oft laufen lassen kann.
Das Einzige was mir so einfallen würde:
Die 2000 Servenamen auf zB 10 Dateien aufteilen und 10 Instanzen des
Scriptes starten, wobei halt jede Instanz eine Datei ausliest.
Wàre das möglich und würde das dann auch was bringen?

Vielleicht fàllt ja hier jemandem noch was ein. Wàr für jede Hilfe
dankbar...

Danke
Tobi
 

Lesen sie die antworten

#1 Helmut Schneider
18/09/2008 - 23:13 | Warnen spam
Skee wrote:

Ich bastel gerade ein Bash-Script, welches auf knapp 2000 Server per scp
zugreif, dort eine Datei abholt und entsprechend weiterverarbeitet.
Aktuell ist es so, dass die Servernamen zeilenweise in einer Datei
stehen. Dort werden sie nacheinender mit einer Schleife ausgelesen und
dann wird nach jeder Zeile die scp-Verbindung hergestellt.
Das Script lief jetzt noch nicht über alle Maschinen, aber ich sehe
schon, dass ich pro Maschine ca 1 Sekunde brauche. Also ingesamt knapp
33 Minuten pro Durchlauf.

Ich würde die Geschwindigkeit jetzt gerne irgendwie optimieren, so dass
ich das Script möglichst oft laufen lassen kann.
Das Einzige was mir so einfallen würde:
Die 2000 Servenamen auf zB 10 Dateien aufteilen und 10 Instanzen des
Scriptes starten, wobei halt jede Instanz eine Datei ausliest.
Wàre das möglich und würde das dann auch was bringen?

Vielleicht fàllt ja hier jemandem noch was ein. Wàr für jede Hilfe
dankbar...



Ich kenn das Script nun nicht, aber Du musst evtl. ja gar nicht auf den scp
Prozess warten, kannst ihn also mit "scp ... &" starten. Je nach Aufbau
kannst Du alles in eine Funktion packen und diese mehrmals laufen lassen,
ohne auf deren Ende zu warten.
Aber wie gesagt, ohne Angabe des Scriptes...

Helmut

No Swen today, my love has gone away
My mailbox stands for lorn, a symbol of the dawn

Ähnliche fragen