Re: How to investiage slow insert problem

From: Rural Hunter <ruralhunter(at)gmail(dot)com>
To: Jeff Janes <jeff(dot)janes(at)gmail(dot)com>
Cc: "pgsql-performance(at)postgresql(dot)org" <pgsql-performance(at)postgresql(dot)org>
Subject: Re: How to investiage slow insert problem
Date: 2013-08-20 05:30:18
Message-ID: 5212FEEA.4090900@gmail.com
Views: Raw Message | Whole Thread | Download mbox | Resend email
Thread:
Lists: pgsql-performance

<html>
<head>
<meta content="text/html; charset=ISO-8859-1"
http-equiv="Content-Type">
</head>
<body text="#000000" bgcolor="#FFFFFF">
<div class="moz-cite-prefix">&#20110; 2013/8/20 12:34, Jeff Janes &#20889;&#36947;:<br>
</div>
<blockquote
cite="mid:CAMkU=1zWk8dmxCi4uGB4fCmOrb5BvwVB0+Bspu_1gmyO7UUjsg(at)mail(dot)gmail(dot)com"
type="cite">On Monday, August 19, 2013, Rural Hunter wrote:
<div><br>
</div>
<div>I think that this should generally not happen at the server
if you are using pgbouncer, as you should configure it so that
pgbouncer has a lower limit than postgresql itself does. &nbsp;What
pooling method (session, transaction, statement) are you using?</div>
</blockquote>
statement. Currently, I set the limit of pgbouncer connection to
same as db connection. But I also have a few connections connecting
to db server directly.
<blockquote
cite="mid:CAMkU=1zWk8dmxCi4uGB4fCmOrb5BvwVB0+Bspu_1gmyO7UUjsg(at)mail(dot)gmail(dot)com"
type="cite">
<div><br>
</div>
<div>Can you provide some example numbers for the io load?</div>
</blockquote>
I get some when the connection limit is reached(The database related
storage is on sdb/sdd/sde/sdf):<br>
root(at)ubtserver:~# iostat -xm 3<br>
Linux 3.5.0-22-generic (ubuntu) &nbsp;&nbsp;&nbsp; 2013&#24180;08&#26376;19&#26085; &nbsp;&nbsp;&nbsp; _x86_64_&nbsp;&nbsp;&nbsp; (32
CPU)<br>
<br>
avg-cpu:&nbsp; %user&nbsp;&nbsp; %nice %system %iowait&nbsp; %steal&nbsp;&nbsp; %idle<br>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 14.71&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 2.86&nbsp;&nbsp;&nbsp; 0.48&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp; 81.96<br>
<br>
Device:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; rrqm/s&nbsp;&nbsp; wrqm/s&nbsp;&nbsp;&nbsp;&nbsp; r/s&nbsp;&nbsp;&nbsp;&nbsp; w/s&nbsp;&nbsp;&nbsp; rMB/s&nbsp;&nbsp;&nbsp; wMB/s
avgrq-sz avgqu-sz&nbsp;&nbsp; await r_await w_await&nbsp; svctm&nbsp; %util<br>
sda&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.26&nbsp;&nbsp;&nbsp; 0.04&nbsp;&nbsp;&nbsp; 0.36&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;
24.71&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.55&nbsp;&nbsp;&nbsp; 3.01&nbsp;&nbsp;&nbsp; 0.30&nbsp;&nbsp; 0.29&nbsp;&nbsp; 0.01<br>
sdb&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.26&nbsp;&nbsp;&nbsp; 0.18&nbsp;&nbsp;&nbsp; 2.32&nbsp;&nbsp;&nbsp;&nbsp; 0.02&nbsp;&nbsp;&nbsp;&nbsp; 0.38&nbsp;&nbsp;
329.50&nbsp;&nbsp;&nbsp;&nbsp; 0.01&nbsp;&nbsp;&nbsp; 5.36&nbsp;&nbsp;&nbsp; 1.26&nbsp;&nbsp;&nbsp; 5.69&nbsp;&nbsp; 0.21&nbsp;&nbsp; 0.05<br>
sdc&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.01&nbsp;&nbsp;&nbsp;&nbsp; 4.59&nbsp;&nbsp; 10.13&nbsp;&nbsp; 45.75&nbsp;&nbsp;&nbsp;&nbsp; 0.30&nbsp;&nbsp;&nbsp;&nbsp; 0.92&nbsp;&nbsp;&nbsp;
44.65&nbsp;&nbsp;&nbsp;&nbsp; 0.05&nbsp;&nbsp;&nbsp; 5.14&nbsp;&nbsp;&nbsp; 7.49&nbsp;&nbsp;&nbsp; 4.62&nbsp;&nbsp; 0.63&nbsp;&nbsp; 3.50<br>
dm-0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.01&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp;
0.00&nbsp;&nbsp;&nbsp;&nbsp; 8.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 6.37&nbsp;&nbsp;&nbsp; 6.38&nbsp;&nbsp;&nbsp; 6.36&nbsp;&nbsp; 3.62&nbsp;&nbsp; 0.00<br>
sdd&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.42&nbsp;&nbsp;&nbsp; 0.02&nbsp;&nbsp; 42.87&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.46&nbsp;&nbsp;&nbsp;
22.12&nbsp;&nbsp;&nbsp;&nbsp; 0.03&nbsp;&nbsp;&nbsp; 0.78&nbsp;&nbsp; 14.09&nbsp;&nbsp;&nbsp; 0.77&nbsp;&nbsp; 0.49&nbsp;&nbsp; 2.10<br>
sde&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 3.68&nbsp;&nbsp; 10.23&nbsp; 156.41&nbsp;&nbsp;&nbsp;&nbsp; 0.19&nbsp;&nbsp;&nbsp;&nbsp; 1.45&nbsp;&nbsp;&nbsp;
20.06&nbsp;&nbsp;&nbsp;&nbsp; 0.03&nbsp;&nbsp;&nbsp; 1.59&nbsp;&nbsp; 21.34&nbsp;&nbsp;&nbsp; 0.29&nbsp;&nbsp; 0.51&nbsp;&nbsp; 8.55<br>
sdf&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 2.56&nbsp;&nbsp;&nbsp; 6.29&nbsp;&nbsp; 66.00&nbsp;&nbsp;&nbsp;&nbsp; 0.29&nbsp;&nbsp;&nbsp;&nbsp; 0.71&nbsp;&nbsp;&nbsp;
28.42&nbsp;&nbsp;&nbsp;&nbsp; 0.04&nbsp;&nbsp;&nbsp; 0.56&nbsp;&nbsp;&nbsp; 4.52&nbsp;&nbsp;&nbsp; 0.19&nbsp;&nbsp; 0.37&nbsp;&nbsp; 2.71<br>
<br>
avg-cpu:&nbsp; %user&nbsp;&nbsp; %nice %system %iowait&nbsp; %steal&nbsp;&nbsp; %idle<br>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 13.99&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 1.91&nbsp;&nbsp;&nbsp; 1.04&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp; 83.06<br>
<br>
Device:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; rrqm/s&nbsp;&nbsp; wrqm/s&nbsp;&nbsp;&nbsp;&nbsp; r/s&nbsp;&nbsp;&nbsp;&nbsp; w/s&nbsp;&nbsp;&nbsp; rMB/s&nbsp;&nbsp;&nbsp; wMB/s
avgrq-sz avgqu-sz&nbsp;&nbsp; await r_await w_await&nbsp; svctm&nbsp; %util<br>
sda&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.33&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;
16.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 4.00&nbsp;&nbsp;&nbsp; 4.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp; 4.00&nbsp;&nbsp; 0.13<br>
sdb&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp;
0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp; 0.00&nbsp;&nbsp; 0.00<br>
sdc&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 15.33&nbsp;&nbsp;&nbsp; 5.33&nbsp;&nbsp; 14.33&nbsp;&nbsp;&nbsp;&nbsp; 0.13&nbsp;&nbsp;&nbsp;&nbsp; 0.21&nbsp;&nbsp;&nbsp;
34.98&nbsp;&nbsp;&nbsp;&nbsp; 0.03&nbsp;&nbsp;&nbsp; 1.63&nbsp;&nbsp;&nbsp; 6.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp; 1.02&nbsp;&nbsp; 2.00<br>
dm-0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp;
0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp; 0.00&nbsp;&nbsp; 0.00<br>
sdd&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp; 31.33&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.26&nbsp;&nbsp;&nbsp;
17.19&nbsp;&nbsp;&nbsp;&nbsp; 0.01&nbsp;&nbsp;&nbsp; 0.34&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.34&nbsp;&nbsp; 0.34&nbsp;&nbsp; 1.07<br>
sde&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp; 43.00&nbsp; 163.67&nbsp;&nbsp;&nbsp;&nbsp; 0.59&nbsp;&nbsp;&nbsp;&nbsp; 1.29&nbsp;&nbsp;&nbsp;
18.55&nbsp;&nbsp;&nbsp;&nbsp; 2.56&nbsp;&nbsp; 21.34&nbsp;&nbsp; 72.06&nbsp;&nbsp;&nbsp; 8.01&nbsp;&nbsp; 1.69&nbsp; 34.93<br>
sdf&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 6.00&nbsp;&nbsp; 62.00&nbsp;&nbsp;&nbsp;&nbsp; 0.17&nbsp;&nbsp;&nbsp;&nbsp; 0.55&nbsp;&nbsp;&nbsp;
21.88&nbsp;&nbsp;&nbsp;&nbsp; 0.49&nbsp;&nbsp;&nbsp; 7.16&nbsp;&nbsp;&nbsp; 5.56&nbsp;&nbsp;&nbsp; 7.31&nbsp;&nbsp; 0.27&nbsp;&nbsp; 1.87<br>
<br>
avg-cpu:&nbsp; %user&nbsp;&nbsp; %nice %system %iowait&nbsp; %steal&nbsp;&nbsp; %idle<br>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 15.84&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 2.63&nbsp;&nbsp;&nbsp; 1.70&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp; 79.83<br>
<br>
Device:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; rrqm/s&nbsp;&nbsp; wrqm/s&nbsp;&nbsp;&nbsp;&nbsp; r/s&nbsp;&nbsp;&nbsp;&nbsp; w/s&nbsp;&nbsp;&nbsp; rMB/s&nbsp;&nbsp;&nbsp; wMB/s
avgrq-sz avgqu-sz&nbsp;&nbsp; await r_await w_await&nbsp; svctm&nbsp; %util<br>
sda&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 1.67&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 2.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.01&nbsp;&nbsp;&nbsp;
14.67&nbsp;&nbsp;&nbsp;&nbsp; 0.07&nbsp;&nbsp; 33.33&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp; 33.33&nbsp; 25.33&nbsp;&nbsp; 5.07<br>
sdb&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp;
0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp; 0.00&nbsp;&nbsp; 0.00<br>
sdc&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 4.67&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.06&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;
26.29&nbsp;&nbsp;&nbsp;&nbsp; 0.13&nbsp;&nbsp;&nbsp; 6.29&nbsp;&nbsp;&nbsp; 6.29&nbsp;&nbsp;&nbsp; 0.00&nbsp; 25.14&nbsp; 11.73<br>
dm-0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp;
0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp; 0.00&nbsp;&nbsp; 0.00<br>
sdd&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.33&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp; 49.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.39&nbsp;&nbsp;&nbsp;
16.49&nbsp;&nbsp;&nbsp;&nbsp; 0.02&nbsp;&nbsp;&nbsp; 0.35&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.35&nbsp;&nbsp; 0.35&nbsp;&nbsp; 1.73<br>
sde&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 11.00&nbsp;&nbsp; 30.67&nbsp;&nbsp; 81.33&nbsp;&nbsp;&nbsp;&nbsp; 0.38&nbsp;&nbsp;&nbsp;&nbsp; 0.71&nbsp;&nbsp;&nbsp;
19.98&nbsp;&nbsp;&nbsp; 36.46&nbsp; 143.19&nbsp;&nbsp; 43.91&nbsp; 180.62&nbsp;&nbsp; 2.69&nbsp; 30.13<br>
sdf&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 9.33&nbsp;&nbsp;&nbsp; 3.00&nbsp; 326.00&nbsp;&nbsp;&nbsp;&nbsp; 0.09&nbsp;&nbsp;&nbsp;&nbsp; 2.75&nbsp;&nbsp;&nbsp;
17.69&nbsp;&nbsp;&nbsp;&nbsp; 3.51&nbsp;&nbsp; 10.66&nbsp;&nbsp;&nbsp; 5.33&nbsp;&nbsp; 10.71&nbsp;&nbsp; 0.11&nbsp;&nbsp; 3.60<br>
<br>
avg-cpu:&nbsp; %user&nbsp;&nbsp; %nice %system %iowait&nbsp; %steal&nbsp;&nbsp; %idle<br>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 14.99&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 2.39&nbsp;&nbsp;&nbsp; 4.89&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp; 77.74<br>
<br>
Device:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; rrqm/s&nbsp;&nbsp; wrqm/s&nbsp;&nbsp;&nbsp;&nbsp; r/s&nbsp;&nbsp;&nbsp;&nbsp; w/s&nbsp;&nbsp;&nbsp; rMB/s&nbsp;&nbsp;&nbsp; wMB/s
avgrq-sz avgqu-sz&nbsp;&nbsp; await r_await w_await&nbsp; svctm&nbsp; %util<br>
sda&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp;
0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp; 0.00&nbsp;&nbsp; 0.00<br>
sdb&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp;
0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp; 0.00&nbsp;&nbsp; 0.00<br>
sdc&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 19.67&nbsp;&nbsp;&nbsp; 7.33&nbsp;&nbsp; 29.00&nbsp;&nbsp;&nbsp;&nbsp; 0.09&nbsp;&nbsp;&nbsp;&nbsp; 0.60&nbsp;&nbsp;&nbsp;
38.61&nbsp;&nbsp;&nbsp;&nbsp; 1.18&nbsp;&nbsp; 35.41&nbsp; 175.45&nbsp;&nbsp;&nbsp; 0.00&nbsp; 15.93&nbsp; 57.87<br>
dm-0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp;
0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp; 0.00&nbsp;&nbsp; 0.00<br>
sdd&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.33&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp; 39.33&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.31&nbsp;&nbsp;&nbsp;
15.93&nbsp;&nbsp;&nbsp;&nbsp; 0.01&nbsp;&nbsp;&nbsp; 0.37&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.37&nbsp;&nbsp; 0.37&nbsp;&nbsp; 1.47<br>
sde&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 11.33&nbsp;&nbsp; 29.67&nbsp; 312.67&nbsp;&nbsp;&nbsp;&nbsp; 0.39&nbsp;&nbsp;&nbsp;&nbsp; 2.51&nbsp;&nbsp;&nbsp;
17.34&nbsp;&nbsp;&nbsp; 87.15&nbsp; 314.23&nbsp; 108.13&nbsp; 333.78&nbsp;&nbsp; 2.84&nbsp; 97.20<br>
sdf&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 8.33&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.17&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;
42.24&nbsp;&nbsp;&nbsp;&nbsp; 0.05&nbsp;&nbsp;&nbsp; 6.56&nbsp;&nbsp;&nbsp; 6.56&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp; 2.40&nbsp;&nbsp; 2.00<br>
<br>
avg-cpu:&nbsp; %user&nbsp;&nbsp; %nice %system %iowait&nbsp; %steal&nbsp;&nbsp; %idle<br>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 14.98&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 2.23&nbsp;&nbsp;&nbsp; 5.45&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp; 77.34<br>
<br>
Device:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; rrqm/s&nbsp;&nbsp; wrqm/s&nbsp;&nbsp;&nbsp;&nbsp; r/s&nbsp;&nbsp;&nbsp;&nbsp; w/s&nbsp;&nbsp;&nbsp; rMB/s&nbsp;&nbsp;&nbsp; wMB/s
avgrq-sz avgqu-sz&nbsp;&nbsp; await r_await w_await&nbsp; svctm&nbsp; %util<br>
sda&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.67&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.01&nbsp;&nbsp;&nbsp;
20.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp; 0.00&nbsp;&nbsp; 0.00<br>
sdb&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp;
0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp; 0.00&nbsp;&nbsp; 0.00<br>
sdc&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 9.67&nbsp;&nbsp; 10.00&nbsp;&nbsp;&nbsp; 6.00&nbsp;&nbsp;&nbsp;&nbsp; 0.12&nbsp;&nbsp;&nbsp;&nbsp; 0.10&nbsp;&nbsp;&nbsp;
27.83&nbsp;&nbsp;&nbsp;&nbsp; 0.08&nbsp;&nbsp;&nbsp; 5.08&nbsp;&nbsp;&nbsp; 8.13&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp; 1.42&nbsp;&nbsp; 2.27<br>
dm-0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp;
0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp; 0.00&nbsp;&nbsp; 0.00<br>
sdd&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp; 44.33&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.35&nbsp;&nbsp;&nbsp;
16.00&nbsp;&nbsp;&nbsp;&nbsp; 0.03&nbsp;&nbsp;&nbsp; 0.72&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.72&nbsp;&nbsp; 0.72&nbsp;&nbsp; 3.20<br>
sde&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp; 47.33&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.58&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;
25.18&nbsp;&nbsp;&nbsp;&nbsp; 5.26&nbsp; 111.04&nbsp; 111.04&nbsp;&nbsp;&nbsp; 0.00&nbsp; 19.10&nbsp; 90.40<br>
sdf&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 11.00&nbsp;&nbsp;&nbsp; 3.33&nbsp; 683.33&nbsp;&nbsp;&nbsp;&nbsp; 0.12&nbsp;&nbsp;&nbsp;&nbsp; 7.38&nbsp;&nbsp;&nbsp;
22.37&nbsp;&nbsp;&nbsp; 12.05&nbsp;&nbsp; 17.54&nbsp; 244.00&nbsp;&nbsp; 16.44&nbsp;&nbsp; 0.49&nbsp; 33.33<br>
<br>
avg-cpu:&nbsp; %user&nbsp;&nbsp; %nice %system %iowait&nbsp; %steal&nbsp;&nbsp; %idle<br>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 15.21&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 2.54&nbsp;&nbsp;&nbsp; 0.56&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp; 81.69<br>
<br>
Device:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; rrqm/s&nbsp;&nbsp; wrqm/s&nbsp;&nbsp;&nbsp;&nbsp; r/s&nbsp;&nbsp;&nbsp;&nbsp; w/s&nbsp;&nbsp;&nbsp; rMB/s&nbsp;&nbsp;&nbsp; wMB/s
avgrq-sz avgqu-sz&nbsp;&nbsp; await r_await w_await&nbsp; svctm&nbsp; %util<br>
sda&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 2.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 1.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.01&nbsp;&nbsp;&nbsp;
24.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp; 0.00&nbsp;&nbsp; 0.00<br>
sdb&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp;
0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp; 0.00&nbsp;&nbsp; 0.00<br>
sdc&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp; 14.33&nbsp;&nbsp;&nbsp; 2.00&nbsp;&nbsp;&nbsp;&nbsp; 0.20&nbsp;&nbsp;&nbsp;&nbsp; 0.39&nbsp;&nbsp;&nbsp;
73.80&nbsp;&nbsp;&nbsp;&nbsp; 0.07&nbsp;&nbsp;&nbsp; 4.08&nbsp;&nbsp;&nbsp; 4.65&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp; 2.37&nbsp;&nbsp; 3.87<br>
dm-0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp;
0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp; 0.00&nbsp;&nbsp; 0.00<br>
sdd&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.33&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp; 62.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.52&nbsp;&nbsp;&nbsp;
17.08&nbsp;&nbsp;&nbsp;&nbsp; 0.02&nbsp;&nbsp;&nbsp; 0.34&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.34&nbsp;&nbsp; 0.34&nbsp;&nbsp; 2.13<br>
sde&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 9.67&nbsp;&nbsp; 30.67&nbsp; 157.33&nbsp;&nbsp;&nbsp;&nbsp; 0.43&nbsp;&nbsp;&nbsp;&nbsp; 1.27&nbsp;&nbsp;&nbsp;
18.54&nbsp;&nbsp;&nbsp;&nbsp; 1.75&nbsp;&nbsp;&nbsp; 9.33&nbsp;&nbsp; 15.91&nbsp;&nbsp;&nbsp; 8.04&nbsp;&nbsp; 1.09&nbsp; 20.53<br>
sdf&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 9.67&nbsp;&nbsp;&nbsp; 6.67&nbsp;&nbsp;&nbsp; 0.67&nbsp;&nbsp;&nbsp;&nbsp; 0.13&nbsp;&nbsp;&nbsp;&nbsp; 0.04&nbsp;&nbsp;&nbsp;
46.91&nbsp;&nbsp;&nbsp;&nbsp; 0.04&nbsp;&nbsp;&nbsp; 5.09&nbsp;&nbsp;&nbsp; 5.60&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp; 2.36&nbsp;&nbsp; 1.73<br>
<br>
avg-cpu:&nbsp; %user&nbsp;&nbsp; %nice %system %iowait&nbsp; %steal&nbsp;&nbsp; %idle<br>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 14.72&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 1.95&nbsp;&nbsp;&nbsp; 0.58&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp; 82.76<br>
<br>
Device:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; rrqm/s&nbsp;&nbsp; wrqm/s&nbsp;&nbsp;&nbsp;&nbsp; r/s&nbsp;&nbsp;&nbsp;&nbsp; w/s&nbsp;&nbsp;&nbsp; rMB/s&nbsp;&nbsp;&nbsp; wMB/s
avgrq-sz avgqu-sz&nbsp;&nbsp; await r_await w_await&nbsp; svctm&nbsp; %util<br>
sda&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 2.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp;
0.01&nbsp;&nbsp;&nbsp;&nbsp; 8.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp; 0.00&nbsp;&nbsp; 0.00<br>
sdb&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp;
0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp; 0.00&nbsp;&nbsp; 0.00<br>
sdc&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 13.67&nbsp;&nbsp;&nbsp; 5.33&nbsp;&nbsp; 32.33&nbsp;&nbsp;&nbsp;&nbsp; 0.07&nbsp;&nbsp;&nbsp;&nbsp; 0.31&nbsp;&nbsp;&nbsp;
20.46&nbsp;&nbsp;&nbsp;&nbsp; 0.04&nbsp;&nbsp;&nbsp; 1.03&nbsp;&nbsp;&nbsp; 7.25&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp; 0.46&nbsp;&nbsp; 1.73<br>
dm-0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp;
0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp; 0.00&nbsp;&nbsp; 0.00<br>
sdd&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp; 42.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.35&nbsp;&nbsp;&nbsp;
17.27&nbsp;&nbsp;&nbsp;&nbsp; 0.03&nbsp;&nbsp;&nbsp; 0.79&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.79&nbsp;&nbsp; 0.79&nbsp;&nbsp; 3.33<br>
sde&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.33&nbsp;&nbsp; 48.00&nbsp; 804.00&nbsp;&nbsp;&nbsp;&nbsp; 0.61&nbsp;&nbsp;&nbsp;&nbsp; 6.34&nbsp;&nbsp;&nbsp;
16.71&nbsp;&nbsp;&nbsp;&nbsp; 8.38&nbsp;&nbsp;&nbsp; 9.82&nbsp;&nbsp; 14.11&nbsp;&nbsp;&nbsp; 9.57&nbsp;&nbsp; 0.23&nbsp; 19.20<br>
sdf&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 8.00&nbsp; 463.00&nbsp;&nbsp;&nbsp;&nbsp; 0.09&nbsp;&nbsp;&nbsp;&nbsp; 4.12&nbsp;&nbsp;&nbsp;
18.30&nbsp;&nbsp;&nbsp;&nbsp; 5.00&nbsp;&nbsp; 10.62&nbsp;&nbsp;&nbsp; 7.17&nbsp;&nbsp; 10.68&nbsp;&nbsp; 0.11&nbsp;&nbsp; 5.20<br>
<blockquote
cite="mid:CAMkU=1zWk8dmxCi4uGB4fCmOrb5BvwVB0+Bspu_1gmyO7UUjsg(at)mail(dot)gmail(dot)com"
type="cite">
<div><br>
</div>
<div><br>
</div>
<div>Could you post the complete log message and a few lines of
context around it?</div>
</blockquote>
There is no context from the same connection around that message.&nbsp;
<blockquote
cite="mid:CAMkU=1zWk8dmxCi4uGB4fCmOrb5BvwVB0+Bspu_1gmyO7UUjsg(at)mail(dot)gmail(dot)com"
type="cite">
<div>How long had they been hanging there? &nbsp;It makes a big
difference whether there are several hanging there at one
moment, but a few milliseconds later there are several different
ones, versus the same few that hang around of many seconds or
minutes at a time.</div>
</blockquote>
The hanging connections never disappear until I restart pgbouncer.
It's like this, At minute 1, 3 connections left. At minute 2,
another 3 left, total 6. Another minute, another 3 left, total
9....till the limit reaches.<br>
<blockquote
cite="mid:CAMkU=1zWk8dmxCi4uGB4fCmOrb5BvwVB0+Bspu_1gmyO7UUjsg(at)mail(dot)gmail(dot)com"
type="cite"><br>
<div>If the identities of the "hung" processes are rapidly
changing, it could just be that you are hitting a throughput
limit. When you do a lot of inserts into indexed the tables, the
performance can drop precipitously once the size of the actively
updated part of the indexes exceeds shared_buffers. &nbsp;This would
usually show up in the io stats, but if you always have a lot of
io going on, it might not be obvious.</div>
<div><br>
</div>
<div>If it is the same few processes hung for long periods, I
would strace them, or gdb them and get a backtrace.</div>
</blockquote>
any detail guide to use strace/gdb on pg process?
<blockquote
cite="mid:CAMkU=1zWk8dmxCi4uGB4fCmOrb5BvwVB0+Bspu_1gmyO7UUjsg(at)mail(dot)gmail(dot)com"
type="cite">
<div>Sorry, I don't know what a connection snapshot in db2 looks
like.</div>
</blockquote>
<a class="moz-txt-link-freetext" href="http://pic.dhe.ibm.com/infocenter/db2luw/v9r7/index.jsp?topic=%2Fcom.ibm.db2.luw.admin.cmd.doc%2Fdoc%2Fr0001945.html">http://pic.dhe.ibm.com/infocenter/db2luw/v9r7/index.jsp?topic=%2Fcom.ibm.db2.luw.admin.cmd.doc%2Fdoc%2Fr0001945.html</a><br>
search for "<code>get snapshot for application". Note: some items in
the sample are marked as "</code><code>Not Collected" because some
monitor flags are turned off.<br>
</code>
<blockquote
cite="mid:CAMkU=1zWk8dmxCi4uGB4fCmOrb5BvwVB0+Bspu_1gmyO7UUjsg(at)mail(dot)gmail(dot)com"
type="cite">
<div>&nbsp;</div>
<div><br>
</div>
<div>Cheers,</div>
<div><br>
</div>
<div>Jeff</div>
</blockquote>
<br>
</body>
</html>

Attachment Content-Type Size
unknown_filename text/html 26.5 KB

In response to

Responses

Browse pgsql-performance by date

  From Date Subject
Next Message amulsul 2013-08-20 07:13:56 Re: DBT5 execution failed due to undefined symbol: PQescapeLiteral
Previous Message Jeff Janes 2013-08-20 04:34:07 Re: How to investiage slow insert problem