Suchen und loeschen in sehr grossen Verzeichnisbaeumen

21/03/2009 - 11:57 von Juergen Starek | Report spam
Hallo allerseits,

ich bin vor einigen Tagen zum ersten Mal in die Situation gekommen, in
einem Verzeichnis mit einigen Millionen Dateien Such- und
Löschoperationen zu machen. Subjektiv kommt mir die Sache zu langsam
vor. Deshalb wollte ich fragen, ob hier Leute mit Erfahrungen aus dem
Serverbereich mitlesen und mir evtl. Hinweise geben können.

Die Daten, insgesamt ca. 300 GB, liegen auf (leider nur) einer
aktuellen 1000 GB-Platte, die mit XFS formatiert ist. Das Dateisystem
ist mit der Option relatime gemountet. Es handelt sich um Quellcode,
also viele kleine Dateien, gelegentlich mit Bildern oder PDFs im
Megabytebereich dazwischen.

Eine der Aufgaben: Alle .svn-Verzeichnisse entfernen. Dazu
habe ich ein find . -name .svn -print0 | xargs -0 rm -rf verwendet.
Diese Operation lief geschàtzte 40 Stunden. Ist das realistisch?

iostat -x ergab wàhrenddessen diese Ausgabe (zurechtgeschnitten):

r/s w/s rsec/s wsec/s avgrq-sz avgqu-sz await svctm %util
87,60 40,60 1347,20 341,00 13,17 4,45 15,15 7,78 99,80


Vielen Dank für alle Hinweise

Jürgen
 

Lesen sie die antworten

#1 E. Braun
21/03/2009 - 13:25 | Warnen spam
Juergen Starek wrote:

find . -name .svn -print0 | xargs -0 rm -rf



Da wird parallel auf der Platte rumgerödelt. Du Ausgabe der zu löschenden
Verzeichnisse in eine Datei und deren lineare Abarbeitung dürfte schneller
sein.

Gruß,

Ähnliche fragen