Re: Sudden drop in DBb performance

Thanks a lot to everybody for their helpful hints!!!

I am running all these benchmarks while the VMs are up .. with the
system under something like "typical" loads ..

The RAID is hardware based. On of my colleagues will check if there is
any hardware problem on the RAID (the disks) today, but nothing no
errors have been reported.

please find below the results of
iostat -x 2
vmstat 2

hmm, looks like we definitely do have a problem with I/O load?!
btw: dm-19 is the logical volume where the /var (postgresql) is on ..

cheers gerhard

procs -----------memory---------- ---swap-- -----io---- -system--
----cpu----
r b swpd free buff cache si so bi bo in cs us sy
id wa
1 16 1370892 434996 33840 28938348 1 1 615 312 9 4
5 2 81 12
0 15 1370892 440832 33840 28938380 0 0 4 136 2086 3899
0 4 12 84
1 16 1370892 447008 33864 28938380 0 0 0 27 2442 4252
1 5 10 83
1 11 1370892 452272 33864 28938380 0 0 12 5 2106 3886
0 4 12 83
2 4 1370892 315880 33888 28941396 0 0 1522 3084 2213 4120
4 3 57 37
0 10 1370892 240900 33628 28934060 0 0 1060 17275 3396 4793
3 3 55 40
1 5 1370892 238172 33044 28905652 0 0 148 267 3943 5284
2 3 26 69
2 2 1370916 232932 31960 28694024 0 12 1170 5625 3037 6336
6 7 61 26
1 2 1370912 232788 27588 28697216 10 0 1016 3848 2780 5669
8 5 56 31
1 4 1370908 2392224 27608 28144712 0 0 936 8811 2514 5244
8 6 61 25
0 1 1370908 2265428 27612 28153188 0 0 4360 1598 2822 4784
13 3 69 15
1 2 1370908 2041260 27612 28176788 0 0 11842 474 3679 4255
12 4 78 6
0 3 1370908 2199880 27624 28272112 0 0 47638 569 7798 5495
11 4 70 14
0 3 1370908 2000752 27624 28318692 0 0 23492 275 5084 5161
10 3 71 17
1 0 1370908 1691000 27624 28365060 0 0 22920 117 4961 5426
12 5 69 15
1 0 1370908 2123512 27624 28367576 0 0 1244 145 2053 3728
12 3 83 2
2 0 1370908 1740724 27636 28403748 0 0 18272 190 2920 4188
12 4 76 8
2 0 1370908 1305856 27636 28460172 0 0 28174 493 3744 4750
11 6 68 15
1 2 1370908 973412 27644 28529640 0 0 34614 305 3419 4522
12 5 69 13
2 2 1370904 1790820 27656 28659080 2 0 64376 389 5527 5374
12 7 69 12
1 2 1370904 1384100 27656 28750336 0 0 45740 351 4898 5381
13 6 68 13
1 0 1370904 954200 27656 28864252 0 0 56544 413 4596 5470
13 7 66 14
1 0 1370904 1597264 27656 28865756 0 0 926 391 2009 3502
11 4 81 4
3 2 1370904 1219180 27668 28868244 0 0 1160 500 2180 3772
11 5 80 4
2 7 1370900 809128 27680 28869020 0 0 298 21875 2417 3936
11 5 49 35
0 9 1370900 1693360 27680 28869032 0 0 8 0 2756 4174
8 5 28 59
1 2 1370900 1531100 27688 28871104 0 0 1034 7849 2646 4571
10 3 72 15

iostat -x 2:

Linux 2.6.32-33-server (voyager) 06.09.2011 _x86_64_
(8 CPU)

avg-cpu: %user %nice %system %iowait %steal %idle
5,02 0,00 2,41 11,60 0,00 80,97

Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s
avgrq-sz avgqu-sz await svctm %util
sda 3,05 5,22 1,05 0,67 117,54 45,72
95,37 0,01 3,94 0,75 0,13
sdb 10,02 148,15 157,91 93,49 10019,50 5098,93
60,14 4,53 18,04 2,30 57,75
dm-0 0,00 0,00 3,03 4,87 24,21 38,96
8,00 0,45 56,83 0,06 0,05
dm-1 0,00 0,00 1,07 0,87 93,32 6,77
51,59 0,01 2,71 0,42 0,08
dm-2 0,00 0,00 0,00 0,00 0,00 0,00
8,00 0,00 6,30 6,30 0,00
dm-3 0,00 0,00 0,19 0,32 1,54 2,55
8,00 0,03 63,61 2,72 0,14
dm-4 0,00 0,00 0,19 0,88 1,54 7,05
8,00 0,04 33,91 12,84 1,38
dm-5 0,00 0,00 0,10 0,04 0,83 0,33
8,00 0,00 16,22 2,63 0,04
dm-6 0,00 0,00 0,00 0,00 0,00 0,00
8,00 0,00 4,88 4,88 0,00
dm-7 0,00 0,00 0,00 0,00 0,00 0,00
8,00 0,00 4,37 4,37 0,00
dm-8 0,00 0,00 0,00 0,00 0,00 0,00
8,00 0,00 4,69 4,69 0,00
dm-9 0,00 0,00 0,00 0,00 0,00 0,00
8,00 0,00 5,71 5,71 0,00
dm-10 0,00 0,00 0,00 0,00 0,00 0,00
8,00 0,00 4,65 4,65 0,00
dm-11 0,00 0,00 0,00 0,00 0,00 0,00
8,00 0,00 4,17 4,17 0,00
dm-12 0,00 0,00 0,11 1,34 0,90 10,73
8,00 0,12 76,31 12,61 1,83
dm-13 0,00 0,00 0,01 0,00 0,09 0,01
8,00 0,00 18,70 1,26 0,00
dm-14 0,00 0,00 1,83 1,39 14,66 11,10
8,00 0,18 55,46 2,77 0,89
dm-15 0,00 0,00 0,00 0,00 0,00 0,00
8,00 0,00 5,35 5,31 0,00
dm-16 0,00 0,00 0,18 0,02 4,00 0,38
21,08 0,00 21,20 5,95 0,12
dm-17 0,00 0,00 0,00 0,00 0,01 0,01
18,76 0,00 30,79 26,47 0,00
dm-18 0,00 0,00 1,19 0,02 11,05 0,19
9,24 0,00 3,57 1,20 0,15
dm-19 0,00 0,00 159,62 202,37 9949,08 5022,90
41,36 0,60 29,19 1,55 56,27
dm-20 0,00 0,00 2,39 2,31 19,13 18,48
8,00 0,18 39,23 1,29 0,61
dm-21 0,00 0,00 0,62 2,44 5,00 19,53
8,00 0,11 34,84 5,41 1,66
dm-22 0,00 0,00 0,01 0,03 0,09 0,24
8,00 0,00 21,67 0,53 0,00
dm-23 0,00 0,00 0,75 0,66 6,02 5,32
8,00 0,04 26,32 4,89 0,69
dm-24 0,00 0,00 0,00 0,00 0,00 0,00
8,00 0,00 5,67 5,67 0,00

avg-cpu: %user %nice %system %iowait %steal %idle
0,88 0,00 5,27 81,72 0,00 12,13

Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s
avgrq-sz avgqu-sz await svctm %util
sda 0,00 0,50 0,00 3,00 0,00 12,00
4,00 0,00 0,00 0,00 0,00
sdb 0,00 559,00 0,00 523,50 0,00 19148,00
36,58 143,87 278,68 1,91 100,00
dm-0 0,00 0,00 0,00 0,00 0,00 0,00
0,00 0,00 0,00 0,00 0,00
dm-1 0,00 0,00 0,00 1,50 0,00 12,00
8,00 0,00 0,00 0,00 0,00
dm-2 0,00 0,00 0,00 0,00 0,00 0,00
0,00 0,00 0,00 0,00 0,00
dm-3 0,00 0,00 0,00 0,00 0,00 0,00
0,00 0,00 0,00 0,00 0,00
dm-4 0,00 0,00 0,00 4,00 0,00 32,00
8,00 0,53 132,50 48,75 19,50
dm-5 0,00 0,00 0,00 0,00 0,00 0,00
0,00 0,00 0,00 0,00 0,00
dm-6 0,00 0,00 0,00 0,00 0,00 0,00
0,00 0,00 0,00 0,00 0,00
dm-7 0,00 0,00 0,00 0,00 0,00 0,00
0,00 0,00 0,00 0,00 0,00
dm-8 0,00 0,00 0,00 0,00 0,00 0,00
0,00 0,00 0,00 0,00 0,00
dm-9 0,00 0,00 0,00 0,00 0,00 0,00
0,00 0,00 0,00 0,00 0,00
dm-10 0,00 0,00 0,00 0,00 0,00 0,00
0,00 0,00 0,00 0,00 0,00
dm-11 0,00 0,00 0,00 0,00 0,00 0,00
0,00 0,00 0,00 0,00 0,00
dm-12 0,00 0,00 0,00 0,00 0,00 0,00
0,00 0,00 0,00 0,00 0,00
dm-13 0,00 0,00 0,00 0,00 0,00 0,00
0,00 0,00 0,00 0,00 0,00
dm-14 0,00 0,00 0,00 0,00 0,00 0,00
0,00 0,00 0,00 0,00 0,00
dm-15 0,00 0,00 0,00 0,00 0,00 0,00
0,00 0,00 0,00 0,00 0,00
dm-16 0,00 0,00 0,00 0,00 0,00 0,00
0,00 0,00 0,00 0,00 0,00
dm-17 0,00 0,00 0,00 0,00 0,00 0,00
0,00 0,00 0,00 0,00 0,00
dm-18 0,00 0,00 0,00 0,00 0,00 0,00
0,00 0,00 0,00 0,00 0,00
dm-19 0,00 0,00 0,00 0,00 0,00 0,00
0,00 316,54 0,00 0,00 100,00
dm-20 0,00 0,00 0,00 0,00 0,00 0,00
0,00 0,00 0,00 0,00 0,00
dm-21 0,00 0,00 0,00 0,00 0,00 0,00
0,00 0,00 0,00 0,00 0,00
dm-22 0,00 0,00 0,00 0,00 0,00 0,00
0,00 0,00 0,00 0,00 0,00
dm-23 0,00 0,00 0,00 1,50 0,00 12,00
8,00 0,08 53,33 36,67 5,50
dm-24 0,00 0,00 0,00 0,00 0,00 0,00
0,00 0,00 0,00 0,00 0,00

avg-cpu: %user %nice %system %iowait %steal %idle
1,40 0,00 5,36 53,87 0,00 39,37

Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s
avgrq-sz avgqu-sz await svctm %util
sda 0,00 0,00 0,00 0,00 0,00 0,00
0,00 0,00 0,00 0,00 0,00
sdb 0,00 118,50 9,00 627,00 196,00 15220,50
24,24 137,49 209,69 1,57 100,00
dm-0 0,00 0,00 0,00 0,00 0,00 0,00
0,00 0,00 0,00 0,00 0,00
dm-1 0,00 0,00 0,00 0,00 0,00 0,00
0,00 0,00 0,00 0,00 0,00
dm-2 0,00 0,00 0,00 0,00 0,00 0,00
0,00 0,00 0,00 0,00 0,00
dm-3 0,00 0,00 0,00 0,00 0,00 0,00
0,00 0,00 0,00 0,00 0,00
dm-4 0,00 0,00 0,00 0,00 0,00 0,00
0,00 0,00 0,00 0,00 0,00
dm-5 0,00 0,00 0,00 0,00 0,00 0,00
0,00 0,00 0,00 0,00 0,00
dm-6 0,00 0,00 0,00 0,00 0,00 0,00
0,00 0,00 0,00 0,00 0,00
dm-7 0,00 0,00 0,00 0,00 0,00 0,00
0,00 0,00 0,00 0,00 0,00
dm-8 0,00 0,00 0,00 0,00 0,00 0,00
0,00 0,00 0,00 0,00 0,00
dm-9 0,00 0,00 0,00 0,00 0,00 0,00
0,00 0,00 0,00 0,00 0,00
dm-10 0,00 0,00 0,00 0,00 0,00 0,00
0,00 0,00 0,00 0,00 0,00
dm-11 0,00 0,00 0,00 0,00 0,00 0,00
0,00 0,00 0,00 0,00 0,00
dm-12 0,00 0,00 0,00 0,00 0,00 0,00
0,00 0,00 0,00 0,00 0,00
dm-13 0,00 0,00 0,00 0,00 0,00 0,00
0,00 0,00 0,00 0,00 0,00
dm-14 0,00 0,00 0,00 3,00 0,00 24,00
8,00 0,36 58,33 31,67 9,50
dm-15 0,00 0,00 0,00 0,00 0,00 0,00
0,00 0,00 0,00 0,00 0,00
dm-16 0,00 0,00 0,00 0,00 0,00 0,00
0,00 0,00 0,00 0,00 0,00
dm-17 0,00 0,00 0,00 0,00 0,00 0,00
0,00 0,00 0,00 0,00 0,00
dm-18 0,00 0,00 0,00 0,00 0,00 0,00
0,00 0,00 0,00 0,00 0,00
dm-19 0,00 0,00 4,00 300,50 68,00 9562,00
31,63 226,15 730,23 3,28 100,00
dm-20 0,00 0,00 0,00 0,00 0,00 0,00
0,00 0,00 0,00 0,00 0,00
dm-21 0,00 0,00 0,00 0,00 0,00 0,00
0,00 0,00 0,00 0,00 0,00
dm-22 0,00 0,00 0,00 0,00 0,00 0,00
0,00 0,00 0,00 0,00 0,00
dm-23 0,00 0,00 0,00 0,00 0,00 0,00
0,00 0,00 0,00 0,00 0,00
dm-24 0,00 0,00 0,00 0,00 0,00 0,00
0,00 0,00 0,00 0,00 0,00

>> Agreed, that's really slow. A single SATA drive will get 60 MB/s. Did
>> you run Bonnie while the VM's were up and running?
>>
>> root(at)host:~# vmstat
>> procs -----------memory---------- ---swap-- -----io---- -system--
>> ----cpu----
>> r b swpd free buff cache si so bi bo in cs us sy
>> id wa
>> 0 0 0 308024 884812 40512932 0 0 464 168 353 92 4
>> 2 84 9
>>
>>
>> Only one line? That does not help much. Can you run it as 'vmstat 2' and
>> let it run while a few slow queries are performed? Then paste all the
>> lines?
> And maybe a few lines from "iostat -x 2" too.
>
> BTW what kind of raid is it? Is it hw or sw based? Have you checked health
> of the drives?
>
> Are you sure there's nothing else using the drives (e.g. one of the VMs,
> rebuild of the array or something like that)?
>
> Tomas
>