hohe I/O-Last mit Smart Array 5i Controller

06/10/2008 - 17:37 von Lars Uhlmann | Report spam
Besagter Smart Array 5i steckt in einem Compaq Proliant DL360 G3 und hat
ein RAID1 aus zweimal 146GB U320. Controller:

,--[$ cat /proc/driver/cciss/cciss0]
| cciss0: HP Smart Array 5i Controller
| Board ID: 0x40800e11
| Firmware Version: 2.36
| IRQ: 169
| Logical drives: 1
| Max sectors: 2048
| Current Q depth: 0
| Current # commands on controller: 1
| Max Q depth since init: 161
| Max # commands on controller since init: 166
| Max SG entries since init: 31
| Sequential access devices: 0
|
| cciss/c0d0: 146.80GB RAID 1(1+0)
`--

Auf dem System ist Debian "etch" installiert. Als Anwendung làuft
VMware Server v1.x und ein NFS-Server.
Seit die Maschine in Benutzung ist, klagen die VM-User über schlechte
"Disk-Performance". Ein Defrag in einer W2K3-VM mit virt. Festplatte von
etwa 4GB hàtte wohl fast 12 Stunden gedauert.

An VMware selbst liegt es nicht, denn das Lastproblem tritt auch nachts
beim backup auf. Dazu werden die VMs gestoppt bzw. angehalten und via NFS
zum Bandserver kopiert. Wàhrend des Transfers eines files geht die
I/O-Last extrem hoch:

,--[$ top]
| top - 17:49:36 up 52 min, 1 user, load average: 7.48, 7.47, 6.86
| Tasks: 68 total, 1 running, 67 sleeping, 0 stopped, 0 zombie
| Cpu0 : 0.0%us, 0.0%sy, 0.0%ni, 42.6%id, 56.4%wa, 1.0%hi, 0.0%si, 0.0%st
| Cpu1 : 0.0%us, 0.0%sy, 0.0%ni, 90.0%id, 10.0%wa, 0.0%hi, 0.0%si, 0.0%st
| Cpu2 : 0.0%us, 1.0%sy, 0.0%ni, 1.0%id, 97.0%wa, 0.0%hi, 1.0%si, 0.0%st
| Cpu3 : 0.0%us, 0.0%sy, 0.0%ni, 5.1%id, 94.9%wa, 0.0%hi, 0.0%si, 0.0%st
| Mem: 3117328k total, 3025672k used, 91656k free, 5092k buffers
| Swap: 5863716k total, 48k used, 5863668k free, 2966424k cached
|
| PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
| 2282 root 15 0 0 0 0 D 1 0.0 0:05.39 nfsd
| 2285 root 15 0 0 0 0 D 1 0.0 0:05.52 nfsd
`--

bzw.

,--[$ iostat; iostat -x]
| Linux 2.6.18-6-686-bigmem (zeus) 08/02/2008
|
| avg-cpu: %user %nice %system %iowait %steal %idle
| 0.41 0.00 0.66 44.25 0.00 54.69
|
| Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
| cciss/c0d0 248.39 12176.48 308.82 43538701 1104218
| dm-0 40.62 72.39 308.75 258834 1103984
| dm-1 696.74 12103.64 0.04 43278242 136
|
| Linux 2.6.18-6-686-bigmem (zeus) 08/02/2008
|
| avg-cpu: %user %nice %system %iowait %steal %idle
| 0.41 0.00 0.66 44.25 0.00 54.69
|
| Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s avgrq-sz avgqu-sz await svctm %util
| cciss/c0d0 453.49 35.68 245.47 2.92 12176.48 308.82 50.27 1.85 7.44 2.95 73.24
| dm-0 0.00 0.00 2.02 38.59 72.39 308.75 9.38 13.99 344.52 0.48 1.97
| dm-1 0.00 0.00 696.74 0.00 12103.64 0.04 17.37 5.54 7.95 1.05 72.95
`--

Zw. diesem und dem backupsystem ist besteht eine Gigabit-Verbindung,
Ethernet wird in Jumbo-Frames (9K) übertragen. Eine Messung der
Übertragungsrate mit 'netio' ergab über 100MB/s bei normaler Last (hab
die Zahlen gerade nicht im Kopf), die Broadcom-NICs sind also nicht das
Problem. Beim kopieren einer Datei über NFS (tcp,wsize=rsize92) kommt
der Transfer nicht über 8MB/s hinaus.

Meine Suche zum Thema hat leider nichts verwertbares ergeben, daher die
Frage hier, ob jemand mit diesem Controller und dem cciss-Modul àhnliche
Probleme und vielleicht eine Lösung hat.

Danke,
Lars
 

Lesen sie die antworten

#1 Lars Uhlmann
09/10/2008 - 15:09 | Warnen spam
Mal andersherum gefragt. Hat hier jemand diesen Controller im Einsatz und
keine Performance-Probleme damit?

Lars

Ähnliche fragen