[gentoo-user-de] ext3 Limitierungen und Performance

11/02/2010 - 11:10 von Max Bloch | Report spam
Hallo Liste,

Sorry wenn meine Frage zu sehr off topic ist, da sie nicht Gentoo
spezifisch ist und sich rein auf ext3 bezieht.

Ich frage mich gerade wie ich ca 30.000 Dateien optimal strukturieren
kann um hoffentlich keine Limitierungen bei ext3 zu sprengen und
möglichst wenig Einbüße in der I/O Performance in kauf zu nehmen. Bei
Wikipedia lese ich von Limitierungen von maximal 32.000 Unterordner pro
Ordner und die maximale Anzahl von Dateien auf der ganzen ext3 Volume
abhàngig von der Anzahl von inodes. Ich habe jedoch noch keine Antwort
gefunden über eine eventuell maximale Anzahl von Dateien in einem Ordner
(gibt es das?) und mit welcher I/O Performance ich rechnen kann bei
einer steigenden Anzahl von Dateien pro Ordner. Spielt bei der I/O die
Anzahl von Dateien pro Ordner eine wesentliche Rolle im Vergleich zur
Größe der Dateien (und die Größe der ext3 Blöcke)? Einen Ähnlichen Fall
habe ich mit ca. 30.000 symbolischen Links die ich ordnen will, entweder
alle in einem Ordner oder auf Unterordner aufgeteilt.

Vielleicht hat jemand von euch einen guten Rat? Ein anderes Dateisystem
kommt für diesen konkreten Fall nicht in Frage.

LG Max
 

Lesen sie die antworten

#1 Roland Damm
11/02/2010 - 23:20 | Warnen spam
Moin,

Am Donnerstag, 11. Februar 2010 11:01:15 schrieb Max Bloch:

Sorry wenn meine Frage zu sehr off topic ist, da sie nicht Gentoo
spezifisch ist und sich rein auf ext3 bezieht.



Macht nichts, ich habe auch keine Ahnung:-)

Ich frage mich gerade wie ich ca 30.000 Dateien optimal strukturieren
kann um hoffentlich keine Limitierungen bei ext3 zu sprengen und
möglichst wenig Einbüße in der I/O Performance in kauf zu nehmen. Bei
Wikipedia lese ich von Limitierungen von maximal 32.000 Unterordner



Unterordner, die werden IMO anders gehandhabt, als Dateien in einem Ordner.
Willst du alle Dateien in einem Ordner haben?

pro
Ordner und die maximale Anzahl von Dateien auf der ganzen ext3 Volume
abhàngig von der Anzahl von inodes.



Die kann man beim formatieren hoch setzen. Sollte der Default-Wert zu gering
sein, kann man das àndern.

Ich habe jedoch noch keine Antwort
gefunden über eine eventuell maximale Anzahl von Dateien in einem Ordner
(gibt es das?) und mit welcher I/O Performance ich rechnen kann bei
einer steigenden Anzahl von Dateien pro Ordner.



Spielt bei ext3 IMO nicht so die große Rolle. Dank einer trickreichen Liste
die die Orte der Dateien recht schnell aus dem Namen auflösen kann, dürfte das
nicht so stören. Mein Gedanke dazu nur: Werden die Dateien laufend geàndert?
Wenn ja, dann bekommst du irgendwann schlechte Performance wegen
Fragmentierung der Platte. Extremfall: Alle Dateien sind in etwa àhnlich groß,
dann kannst du beim Formatieren die Blockgröße einstellen, und zwar so, dass
in jeden Block eine Datei passt. Folge: kein Ärger mit Fragmentierung. Ist
natürlich eine Hardcore-Lösung, verschenkt zwangslàufig einiges an Platz. Am
besten die Blockgröße etwas größer als die mindeste zu erwartende Dateigröße.
Kommt natürlich ganz auf die Größen und die Größenverteilung der Dateien an.

Vielleicht hat jemand von euch einen guten Rat? Ein anderes Dateisystem
kommt für diesen konkreten Fall nicht in Frage.



Na ja guter Rat. wie gesagt, das fiel mir dazu nur gerade ein. Alle
Angaben also ohne Gewàhr:-)

CU Rollo

Ähnliche fragen