Cluster Filesysteme / Parallele Speicherloesungen

18/07/2011 - 20:21 von Thomas Hertweck | Report spam
Frage: Hat jemand Erfahrung mit Cluster (bzw. Distributed) Filesystemen
oder parallelen Speicherloesungen und wuerde ggf. Erfahrungswerte
beisteuern? Es gibt ja mittlerweile so einge Produkte in dieser Hinsicht
und natuerlich hat jedes FS bzw. jede Speicherloesung gewisse Vor- und
Nachteile. Leider zeigt die Erfahrung, dass die Praxis oft nicht ganz mit
der Theorie in Einklang zu bringen ist, insbesondere was Wartungsaufwand,
Skalierbarkeit, Datendurchsatz etc angeht. Natuerlich muss man ein wenig
genauer hinschauen und "das beste Filesystem"(tm) bzw. "die beste
Speicherloesung" haengt auch davon ab, welche Programme und Applikationen
wie, wie oft und wann auf Dateien zugreifen, und so weiter und so fort.

Mich wuerde im Prinzip einfach generell mal Erfahrungswerte interessieren,
ohne jetzt eine Diskussion von vorne herein auf eine bestimmte Richtung
festzulegen. Es geht in meinem Falle grob gesagt um ca. 2 bis 4 Petabytes
an Speicherplatz, die von ca. 500 bis 2000 Cluster-Knoten angesprochen
werden. Wir haben in der Vergangenheit zwei kommerzielle parallele HPC
Speicherloesung gehabt, waren aber mit dem Datendurchsatz und vor allem
der Zuverlaessigkeit eines der Systems nicht besonders beeindruckt.

Gruesse aus London,
Thomas

Um die Liste abzubestellen, schicken Sie eine Mail an:
opensuse-de+unsubscribe@opensuse.org
Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken
Sie eine Mail an: opensuse-de+help@opensuse.org
 

Lesen sie die antworten

#1 Alexander Neundorf
18/07/2011 - 21:58 | Warnen spam
On Monday 18 July 2011, Thomas Hertweck wrote:
Frage: Hat jemand Erfahrung mit Cluster (bzw. Distributed) Filesystemen
oder parallelen Speicherloesungen und wuerde ggf. Erfahrungswerte
beisteuern? Es gibt ja mittlerweile so einge Produkte in dieser Hinsicht
und natuerlich hat jedes FS bzw. jede Speicherloesung gewisse Vor- und
Nachteile. Leider zeigt die Erfahrung, dass die Praxis oft nicht ganz mit
der Theorie in Einklang zu bringen ist, insbesondere was Wartungsaufwand,
Skalierbarkeit, Datendurchsatz etc angeht. Natuerlich muss man ein wenig
genauer hinschauen und "das beste Filesystem"(tm) bzw. "die beste
Speicherloesung" haengt auch davon ab, welche Programme und Applikationen
wie, wie oft und wann auf Dateien zugreifen, und so weiter und so fort.

Mich wuerde im Prinzip einfach generell mal Erfahrungswerte interessieren,
ohne jetzt eine Diskussion von vorne herein auf eine bestimmte Richtung
festzulegen. Es geht in meinem Falle grob gesagt um ca. 2 bis 4 Petabytes
an Speicherplatz, die von ca. 500 bis 2000 Cluster-Knoten angesprochen
werden. Wir haben in der Vergangenheit zwei kommerzielle parallele HPC
Speicherloesung gehabt, waren aber mit dem Datendurchsatz und vor allem
der Zuverlaessigkeit eines der Systems nicht besonders beeindruckt.



Nicht ganz unbeteiligt wuerde ich Dir empfehlen, einen Blick auf FhgFS von
Fraunhofer zu werfen:
http://www.fhgfs.com/cms/
FhgFS ist keine freie Software, aber immerhin kostenlos.

FhgFS unterstuetzt parallele Daten- und auch parallele Metadatenserver.
D.h. Datendurchsatz und Skalierbarkeit haben oberste Prioritaet, das liegt
auch daran, dass es aus der Abteilung HPC bei Fraunhofer stammt:
http://www.itwm.fraunhofer.de/abteilungen/hpc.html
(... wo ich auch arbeite, aber nicht am Dateisystem, ich benutze es nur).

In der taeglichen Arbeit verhaelt es sich unauffaellig, d.h. es funktioniert
einfach. Selbst installiert habe ich es noch nicht (...aber das soll einfach
sein). Kernel-Patches sind *nicht* notwendig, aktuelle Kernel werden
unterstuetzt, ich glaube, auch 3.0rc schon.

Alex
Um die Liste abzubestellen, schicken Sie eine Mail an:
opensuse-de+
Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken
Sie eine Mail an: opensuse-de+

Ähnliche fragen