pipe Memeroy management Kernel 2.6

31/12/2007 - 01:46 von UseNet-Posting-Nospam-74308- | Report spam
1GHz, 378MB RAM, LVM, MD, software RAID1 auf 2*120GB PATA.


Hallo

das Memory Management von Linux 2.6 soll ja "ganz toll" besser als das
von 2.4 sein.

Nun haben wir neulich ein System von 2.4 auf 2.6 gewuppt (debian etch).
Plötzlich gab es immer wieder Loads jenseits der 10, wàhrend die
Kiste früher so bei einer load 0.01..0.1 vorsich hin idelte.
(Hauptsàchlich email front end f. ca. 100 user)

Inzwischen stellte sich heraus, das die Kiste massiv ins Swappen kommt
und letztlich nur noch mit IO beschàftigt ist. (Swap liegt ohne RAID1
dirkt auf den devices).
Verursacht wird das von einem script, das ein 1,5GB grosses Logfile
in ein perl script schiebt, das einen teil der Daten in assoziativ Array
ablegt. Halt eine "Wald-und-wiesen"-Logfile auswertung.

Der Rechner hat nur 378MB RAM, das script etc. wurde nie geàndert,
die Logfile waren schon immer mal > 1GB, aber auf jeden Fall meist grösser
als das reale RAM.

Drehen an "swapiness" etc. scheint keinerlei Wirkung zu haben.
Sicherlic könnte mal mehr RAM reinsteken, aber es scheint ein anderes
Problem ursàchlich zu sein.

Wie könnte man nàher einkreisen was da passiert, warum
die -eigentlich absichtlich- per "cat datei > script.pl" resp.
"script.pl < datei" gepipten Daten offenbar im Speicher gehalten werden?

Wo könnte man noch fragen?



Rainer

Transparency International definiert Korruption als
Missbrauch von anvertrauter Macht zum privaten Nutzen oder Vorteil. [...]
Corruption is operationally defined as the misuse of entrusted power for
private gain. [...]
 

Lesen sie die antworten

#1 Hauke Laging
31/12/2007 - 14:33 | Warnen spam
Rainer Zocholl schrieb am Montag 31 Dezember 2007 01:46:

Da Du offenbar auf ein Pipeline-Problem tippst, folgende Anmerkungen:

"cat datei > script.pl"



geht ja gar nicht
und


"script.pl < datei"



erzeugt keine Pipeline.


CU

Hauke
http://www.hauke-laging.de/ideen/
http://www.hauke-laging.de/software/
http://zeitstempel-signatur.hauke-laging.de/
Wie können 59.054.087 Leute nur so dumm sein?

Ähnliche fragen