Batch Processing System

25/04/2010 - 13:52 von Sven Geggus | Report spam
Hallo zusammen,

ich bin einer der Admins der drei deutschen Openstreetmap Server, die
uns die Firma Strato freundlicherweise zur Verfügung gestellt hat.

Einer davon, der devserver (dev.openstreetmap.de) steht für OSM nahe
Projekte zur Verfügung. Derzeit sind das vor allem CPU und
IO-fressende Konvertierungsprogramme, unter anderem zur Erzeugung
von Karten für Garmin GPS Geràte. Desweiteren laufen Sachen wie
http://topo.openstreetmap.de/, aber die sind nicht das Problem.

Das Problem ist, dass die Benutzer nicht in der Lage sind ihre
cronjobs ordentlich zu koordinieren und aus diesem Grund schlàgt
immer wieder der OOM-Killer irgendwelche Prozesse tot.

Nun suche ich Ersatz für den crond in Form eines Batch Prozessing
Systems.

Supercool wàre natürlich wenn das ganze noch àhnlich incron auf
fileevents reagieren könnte, denn einige Prozesse sollten genau dann
gestartet werden wenn bestimmte Dateien aktualisiert wurden (z.B.
Europaausschnitt der OSM Daten).

Habt ihr da Tipps für mich? Perfekt wàre eine Software die es in
Debian/Ubuntu bereits gibt und die mit apt-get installierbar ist.

Gruss

Sven

"linux is evolution, not intelligent design"
(Linus Torvalds)

/me is giggls@ircnet, http://sven.gegg.us/ on the Web
 

Lesen sie die antworten

#1 Marc Haber
25/04/2010 - 17:52 | Warnen spam
Sven Geggus wrote:
Das Problem ist, dass die Benutzer nicht in der Lage sind ihre
cronjobs ordentlich zu koordinieren und aus diesem Grund schlàgt
immer wieder der OOM-Killer irgendwelche Prozesse tot.

Nun suche ich Ersatz für den crond in Form eines Batch Prozessing
Systems.

Supercool wàre natürlich wenn das ganze noch àhnlich incron auf
fileevents reagieren könnte, denn einige Prozesse sollten genau dann
gestartet werden wenn bestimmte Dateien aktualisiert wurden (z.B.
Europaausschnitt der OSM Daten).



Ist das wirklich so kompliziert? Ich muss da was übersehen. Ich würde
vermutlich ein Verzeichnis nehmen, in das die Leute für jede Aktion
ein Skript oder einen Symlink auf ein Skript reinwerfen (das làsst
sich auch cron- oder fileeventgesteuert machen), und dann ein Prozess,
der sich zufàllig oder in einer bestimmten Reihenfolge das nàchste
Skript greift, lockt, es startet und nach erfolgreicher Ausführung das
Lock entfernt und die Datei löscht.

Grüße
Marc
Marc Haber | " Questions are the | Mailadresse im Header
Mannheim, Germany | Beginning of Wisdom " | http://www.zugschlus.de/
Nordisch by Nature | Lt. Worf, TNG "Rightful Heir" | Fon: *49 621 72739834

Ähnliche fragen