Forums Neueste Beiträge
 

Parallelisierung/Warteschlange

26/02/2016 - 14:37 von Oliver Sch | Report spam
Hallo zusammen,

ich hab immer wieder das Problem einen Pool an Workern zu brauchen auf
der Kommandozeile, um das Remote-System oder einen lokalen Dienst nicht
zu überlasten, aber gleichzeitig wenigstens einen Teil parallel
abzuarbeiten.

Auch wenn ich das selber immer wieder skripte: gibt es da was von
Ratioph^W^Win fertig?

Das Kommando "parallel" kenne ich, ich sehe aber nicht, wie ich die
flexiblen Parameterlisten da einfüttern kann.

Das müsste ja eigentlich ein Template sein mit einem strukturierten
Eingabeformat (Spalten/CSV, ...).

Im idealfall würde man einfach eine Queue haben so etwas wie:

$data_command | enqueue -d, -p10 -- $worker_command -i \$1 -o \$2 \$3

macht halt 10 Threads auf, Trennzeichen im Input ist ",", Spalten
werden hinten referenziert. Ausgabe kann man darüber reden wie man das
macht.

Also ich kann das skripten, aber in der Regel will ich in verschiedenen
Umgebungen einfach apt-get install machen, anstatt wget
http://example.com/mytool

mfg
Oli

Man darf ruhig intelligent sein, man muss sich nur zu helfen wissen
 

Lesen sie die antworten

#1 Christoph Mehdorn Weber
29/02/2016 - 10:59 | Warnen spam
Hallo!

* Oliver :

ich hab immer wieder das Problem einen Pool an Workern zu brauchen auf
der Kommandozeile, um das Remote-System oder einen lokalen Dienst nicht
zu überlasten, aber gleichzeitig wenigstens einen Teil parallel
abzuarbeiten.



xargs --max-procs=?

Im idealfall würde man einfach eine Queue haben so etwas wie:

$data_command | enqueue -d, -p10 -- $worker_command -i \$1 -o \$2 \$3

macht halt 10 Threads auf, Trennzeichen im Input ist ",", Spalten
werden hinten referenziert.



Wenn es immer gleich viele Parameter sind:

xargs --max-args=3

Ob man wirklich beim Komma als Trenner bleiben sollte, ist
dann eine andere Frage.

Ausgabe kann man darüber reden wie man das macht.



Da ich meist nicht mehr als zwei Kerne habe, lohnt sich
Parallelisierung bei mir selten. Insofern hab ich kaum
Erfahrung damit, was mit der Ausgabe bei "--max-procs" > 1
passiert.

Bisher hab ich das höchstens zum Massen-Konvertieren von
Bildern benutzt, und da kann man einfach -- und sollte, war
verlustbehaftet -- das Ergebnis angucken.

Christoph

| Fragebogen downloaden (4 KB, Textdatei)
| Fragebogen downloaden (9 KB, OpenOffice 1.0 File)
| Fragebogen downloaden (57 KB, Word 2000 Dokument)
Ohne Worte (Volker Gringmuth)

Ähnliche fragen