Re: large object write performance

Op 08-10-15 om 13:37 schreef Graeme B. Bell:
>>>
>> Like this ?
>>
>> gmirror (iozone -s 4 -a /dev/mirror/gm0s1e) = 806376 (faster drives)
>> zfs uncompressed (iozone -s 4 -a /datapool/data) = 650136
>> zfs compressed (iozone -s 4 -a /datapool/data) = 676345
>
> If you can get the complete tables (as in the images on the blog post) with random performance compared to sequential etc, different block sizes, that would be very interesting.
>
>
>
Like this ?

Command line used: iozone -a /dev/mirror/gm0s1e
Output is in Kbytes/sec
Time Resolution = 0.000001 seconds.
Processor cache size set to 1024 Kbytes.
Processor cache line size set to 32 bytes.
File stride size set to 17 * record size.
random
random bkwd record stride
KB reclen write rewrite read reread read
write read rewrite read fwrite frewrite fread freread
64 4 321554 913649 2689580 2892445 2133730
874936 1879725 913649 1933893 1013707 1066042 2006158 2561267
64 8 603489 1722886 4897948 5860307 3791156
1947927 3022727 1879725 3791156 1828508 1768283 3541098 4564786
64 16 1083249 3363612 7940539 9006179 7100397
3541098 3958892 3165299 7100397 3588436 3363612 4897948 6421025
64 32 1392258 5283570 12902017 1082152412902017
4897948 5860307 4564786 7100397 4207076 4274062 5389653 7940539
64 64 2772930 5735102 20962191 2096219115972885
7940539 7940539 7940539 12902017 7100397 5860307 4274062 9318832
128 4 253503 1093856 2727923 2714132 2420455
1048974 2286447 1057236 2058509 948860 1051027 2464907 2558895
128 8 465304 1975201 4934216 5325799 4557257
1975201 2286447 1133103 4267461 1878447 1975201 3657016 4557257
128 16 821147 3468030 6114306 8036304 6114306
3468030 5122535 3359523 6727225 3560017 2969325 5122535 6406138
128 32 1504659 6045455 11720614 1254204311470204
5325799 8036304 6045455 9977956 5847904 6114306 6727225 8548124
128 64 2621367 5784891 16365173 1588107815881078
8036304 9795896 8036304 9129573 8036304 7082197 6727225 9795896
128 128 4444086 9129573 18637664
10779307180123591056714011470204 10779307 14200794 10567140 9795896
3380677 6812590
256 4 390763 951219 2692393 2692393 2325094
958864 2310087 955451 2305128 984356 1004618 2435861 2441400
256 8 736041 1894373 4572895 5022044 4422226
1729594 3823789 1729594 4132864 1778290 1729594 4197489 4332998
256 16 1280084 3368013 7120034 8024634 7120034
3043436 6249745 3275543 7120034 3410808 3285566 5117791 6249745
256 32 2152625 4734192 11091721 1222861210245071
5540300 8815202 5569035 9868433 5687020 5810112 6554972 8208677
256 64 3245838 7518900 16072608 1709624916072608
802463411695808 8534922 13454450 7518900 8024634 8271916 9868433
256 128 490728410651598 17096249
19591792170962491024507113454450 11695808 17096249 11091721 8815202
7314033 10245071
256 256 5022044 9868433 18259146 1959179218259146
986843314353744 10651598 16828306 10651598 9518507 3326279 10245071
512 4 533297 948197 2695115 2768068 2327124
944860 2287463 930933 2394591 984720 988345 2486072 2497638
512 8 953248 1931527 5019764 5127637 4494470
1882427 4228947 1875849 4420457 1938502 1938502 4061007 4420457
512 16 1571169 3510074 7758090 7900804 7091952
3437042 6652558 3366987 6931711 3533174 3437042 5951911 6246213
512 32 2327124 5951911 11620224 1249949011138071
5822804 9814569 5807059 11138071 5886650 5822804 6821616 7647578
512 64 3163620 7647578 15471149 1654383213872122
801881212427157 8992598 16049269 8394979 8394979 8992598 9859630
512 128 5951911 9859630 17069844
19037014176304041137404015143846 12797441 18229030 11620224 10641343
8665997 10235583
512 256 582280410641343 18385093
18385093176304041069433615471149 11943357 17630404 10911694 10911694
7758090 9859630
512 512 601863610434519 18869737 1955712419037014
985963015930214 11138071 13872122 10911694 10235583 3415178 10044089
1024 4 643652 991266 2409105 2716948 2354947
940269 2290886 942952 2338280 992412 1004951 2364021 2472911
1024 8 1120580 1858644 4904018 5042191 4415030
1837965 3999762 1774922 4146499 1822368 1806273 4215688 4321737
1024 16 1769073 3469823 7699755 7755368 7054742
3355952 6787181 3311958 6874084 3458646 3390391 6059442 6172653
1024 32 2474336 5472650 11132462 1124909110255274
6059442 9946527 5782087 10039528 5417427 5917516 7927135 8262639
1024 64 3200886 8061038 15516181 1678995915516181
832671514044758 9220512 15977962 8525047 8457895 9464330 10039528
1024 128 681951111368190 17985196
18936769171246801124909116280798 12790037 17688906 11249091 11645609
9220512 10429596
1024 256 683035611132462 17985196
18608584179851961148983916789959 12639479 18608584 11368190 11132462
8326715 9832672
1024 512 706634911132462 18936769
19276739189367691101822614618393 11773301 15080341 10906310 11018226
7319232 10134284
1024 1024 691837611018226 20088179
20471166200881791148983914618393 11249091 19276739 11520658 11249091
3579719 10354166
2048 4 711805 991702 2534049 2709070 2378293
961939 2250555 923767 2193096 986917 950339 2316716 2479912
2048 8 1201758 1880950 4611288 4911886 4385291
1843410 4063729 1836709 3993821 1802788 1861789 3946119 4221501
2048 16 1826943 3330973 6738230 7336772 6588354
3287628 6321679 3221057 6583305 3282603 3151337 4994712 5719737
2048 32 2569678 5884299 10620516 1183503311015480
5719737 9062970 5596757 9567698 5549749 5389574 6895083 7846081
2048 64 3061485 8431376 15652050 1600194315289867
856590114226322 9228493 14109484 8292998 8531869 9525260 10037248
2048 128 736823811502234 17828628
18284015177917011198363016783585 13748169 18600754 11502234 12118884
9898453 10439809
2048 256 721354811058022 17645509
18441025178286281107227517221003 13138359 18763275 11502234 11305435
8987113 9898453
2048 512 728698011502234 18480699
19486895191395401183503316274804 12416686 18763275 11305435 10834854
8431376 10240672
2048 1024 731802011246230 19665344
19893055197104681157976317828628 12561952 19531203 11564174 11440955
7903836 10240672
2048 2048 687301610834854 20079056
20079056202685681203399518284015 12187663 16915790 12118884 11851361
3221057 9349021
4096 4 747054 977305 2315406 2418063 2156702
914269 2125483 933241 2066675 978976 984869 2203449 2288267
4096 8 1283631 1856920 4087714 4442909 3968731
1791845 3828122 1793342 3630721 1877210 1835102 3713919 3886139
4096 16 1890015 3303309 6041154 6758923 6342230
3290024 5918366 3248345 5231694 3316701 3245890 5145513 5551194
4096 32 2612190 5565581 8829180 10059615 9685316
5800471 8189447 5744227 7831080 5657217 5572803 6512939 7314299
4096 64 3185110 8393502 13790167 1511240514026607
869512013086376 9593374 14118827 8518356 8660056 8883968 9394037
4096 128 759900211500738 15692162
17974227175878061140908716058868 13746032 17148903 11609543 10806269
9756822 10394367
4096 256 751589211164417 15219509
17427236176601231128913414271297 13126371 18358372 11042425 11409087
8426437 9658092
4096 512 759900211222762 16179861
18358372188003521160954315508016 13126371 18698043 11940367 10923071
7161842 8883968
4096 1024 768397211841605 17569819
18698043192210331194036717217649 13176709 19796907 11736440 11348794
7998800 9920205
4096 2048 622502810476771 15006799
16585996169962131167264713604523 12220656 14177082 11193514 10895362
5572803 7746336
4096 4096 6503078 8770583 13518879
13615304134343071071862212015527 11007051 11252164 10606129 10136778
2151300 5657217
8192 4 771889 955105 2348612 2440182 2196239
945954 2090414 927318 2088254 978497 991142 2209230 2277469
8192 8 1300529 1853795 3994479 4271046 3844314
1794916 3645670 1816072 3541581 1855096 1805195 3594563 3803462
8192 16 1934800 3308654 5911041 6558696 6158977
3240626 5546540 3316639 5350479 3345053 3308654 5025700 5382328
8192 32 2606405 5520695 8062248 9329772 9092750
5523358 7656244 5825851 7699133 5843686 5509188 6281710 6923450
8192 64 3195123 8358395 9954134 1226342613105371
852428510625170 9603578 12120667 8393104 8283835 7976157 8734477
8192 128 740702210922396 11160086
130854071363045811820445 9798016 13428037 11719650 11620560 11178240
6708520 7656244
8192 256 771989110964221 10908526
12703218132162711167187712082308 13125396 14025495 11604860 10582628
7379976 8175428
8192 512 716752810612044 11538609
13723005143236851176781612172193 13277557 18706245 11084481 11084481
7013901 8079310
8192 1024 780937610964221 11939561
13839076149272971160094211906462 13344594 19692587 11755738 10922396
7067279 7976157
8192 2048 777227910612044 12373836
13125396136088641128470610612044 12245943 19359718 11393220 11070196
6569983 7537004
8192 4096 6590145 9309549 11284706
11993741118571571107019610638329 11573589 11873547 10343693 9011667
3030813 5839713
8192 8192 5810089 7394270 8974009 9582152 9692982
8471741 9373038 8549738 9102385 8167655 7992856 2040751 4627695
16384 4 797664 996356 2344270 2377523 2100240
939190 1983772 924869 2043652 991711 989241 2179301 2193911
16384 8 1333457 1847357 4009817 4115479 3644859
1780859 2637395 1687493 2962198 1776256 1739477 3552531 3661171
16384 16 1927517 3250099 5797250 6093337 5595681
3185763 5414049 3311334 5348732 3299885 3276130 4880365 5024159
16384 32 2621499 5470509 7915343 8398033 8023471
5333373 7606924 5820327 7508843 5587946 5454010 6234299 6574261
16384 64 3153165 8171351 9757400 1042973110363669
8003847 8743152 8519852 8870685 7620421 7988030 7282069 7494921
16384 128 754015110729361 10214248
10878833111146101083594710246230 13780259 11291763 11753336 11100247
7356911 7606082
16384 256 773188310766343 10388737
10944673108582061067270510570916 13256568 10829117 10800184 10715976
6998761 7330229
16384 512 779061210894355 11076987
11571262117957031090126811009550 13440658 11563473 11100247 10652851
7145769 7370324
16384 1024 772753610771405 11480405
11897816119766121084449811002499 13097393 19931365 11465082 9858182
6687502 7651816
16384 2048 783591710284566 11370232
12208535120649261147465411251090 13676046 19507030 11138029 10715976
6843338 7334141
16384 4096 6798654 8646345 10646250
10806978111002471111461010232499 11711273 13919826 10618284 9193480
3981705 6065906
16384 8192 6021260 8098167 8932953 9287914 9367679
8640909 8997280 8962078 9587240 8444472 8079126 2755413 4765300
16384 16384 5647647 7077327 8581561 8586923 8542092
7095596 8389831 6993063 8586923 7086815 6989507 2007885 4131065
32768 64 296167 194585 8750280 9778787 9140169
175768 9378422 9394448 9640910 274952 189845 7000117 7141984
32768 128 191663 317953 9672120 10252961 9965984
271105 9649033 13523721 9963094 222901 191480 6869610 7125322
32768 256 196003 135504 9897089 1038230610314518
201612 9902793 13017757 10085185 111844 155051 6792540 7006184
32768 512 128074 101213 10246082 1068332910821278
9750910376035 13144750 10680008 154413 84475 6947043 7184169
32768 1024 153009 158275 10743456 1123711311203222
14983610638673 13144750 10944503 150476 159293 6865492 7281608
32768 2048 177640 157394 11050985 1132321211222432
16127010601744 13319269 19456785 169390 158441 6502967 7128278
32768 4096 163017 140807 9726193 1013202510465315
146558 9697370 11915151 12977195 151240 146040 4748311 6107636
32768 8192 143250 144060 8868284 8875156 8889507
135154 8023380 8450082 9975387 122431 164131 3359724 4659136
32768 16384 133217 199384 8124883 8114809 8157676
162634 8088543 6801280 8357082 216484 124653 2700292 4270570
65536 64 132478 87352 1119848 679995 810266
71092 1086543 9482862 1268087 104467 98471 1633166 743856
65536 128 218970 184752 1148488 521940 1220248
227708 315986 13741967 1164772 191161 170112 312986 907814
65536 256 215160 167094 1151432 485369 435206
150642 1724542 13018870 1636316 169468 178463 534948 766691
65536 512 184008 183956 856355 1264028 1931097
183766 755799 12990568 642429 169232 129864 212418 551519
65536 1024 204725 154571 944974 543736 900059
18120110606164 13244698 10909669 169260 157705 605011 789797
65536 2048 170298 172145 839204 1151939 5369148
150545 541055 13263872 6960907 178095 146453 417150 939140
65536 4096 143556 166245 877391 1350281 1739504
193326 9432425 11317061 15090076 172834 172315 697406 823770
65536 8192 167896 154215 569887 518313 925923
181461 746474 8010708 10573526 218476 183726 600098 841748
65536 16384 194580 129553 1377676 1397768 1612321
186326 918167 6857237 8487080 162869 189240 501541 1154532

zfs compressed:
Auto Mode
Command line used: iozone -a /datapool/data
Output is in Kbytes/sec
Time Resolution = 0.000001 seconds.
Processor cache size set to 1024 Kbytes.
Processor cache line size set to 32 bytes.
File stride size set to 17 * record size.
random
random bkwd record stride
KB reclen write rewrite read reread read
write read rewrite read fwrite frewrite fread freread
64 4 320021 926260 2116903 2892445 2133730
818885 1892980 874936 1933893 969761 1033216 2067979 2561267
64 8 587635 1991276 5389653 5860307 4564786
1933893 3588436 2006158 4274062 2006158 1599680 3541098 4564786
64 16 1066042 3541098 7940539 9006179 7100397
3363612 4564786 3541098 6271021 3588436 3057153 4897948 6421025
64 32 1518251 5389653 12902017 1597288510821524
5860307 5283570 4897948 9006179 5860307 4274062 4897948 7940539
64 64 3588436 7100397 15972885 2096219115972885
7100397 7940539 6421025 9006179 6421025 6421025 3203069 9006179
128 4 248573 1024942 2558895 2770150 2377579
976473 2098744 1024942 2238774 1038825 1040839 2336194 2511022
128 8 486381 1967960 5122535 5325799 4407601
1911894 3867787 1939522 4267461 1885042 1778862 4012317 4407601
128 16 913347 3560017 7476717 8548124 7176872
3468030 6045455 3560017 6812590 3560017 3657016 4267461 6114306
128 32 1622919 6114306 9795896 14200794 9795896
6406138 7582312 5603747 8548124 5603747 5545860 6045455 8036304
128 64 2511022 6406138 15881078 1801235916365173
7582312 8548124 8548124 10567140 7582312 5847904 6406138 9795896
128 128 4934216 8548124 20804356
258040351863766410567140 9795896 9795896 11470204 9129573 7582312
4596273 9977956
256 4 390195 980760 2754556 2754556 2413957
969251 2330140 962301 2345409 1012194 1008392 2463808 2533571
256 8 744204 1718521 4929815 5117791 4404088
1817419 4054829 1814348 4197489 1881098 1881098 4070199 4264168
256 16 1334162 3236056 7518900 8024634 7120034
3275543 5347168 3285566 6761355 3197509 3326279 5687020 6073004
256 32 2247235 4907284 11695808 1281227711569783
5971678 8815202 5810112 9868433 5841722 4998665 6398720 8208677
256 64 3654598 6891544 15164624 1825914614953435
796510712228612 8815202 14353744 8271916 7314033 6891544 9868433
256 128 5569035 9434868 18259146 1995591317096249
986843312228612 11207494 16072608 10651598 9192546 6936061 10245071
256 256 542826510245071 18259146
19955913182591461024507113454450 10245071 9434868 10245071 9868433
3236056 10245071
512 4 535558 990168 2613128 2722449 2381315
907717 2327124 946109 2347475 1004057 839252 2402629 2460437
512 8 957072 1880778 4784885 4742616 4123387
1842059 4099771 1759070 4091959 1809465 1910902 4091959 4340054
512 16 1574625 3346002 7620440 7871843 7115451
3239989 6571132 3220553 6821616 3415178 3122224 4973263 5639315
512 32 2424328 5951911 10856530 1221509711138071
5384786 9814569 5886650 10641343 5509113 5807059 7540170 8234036
512 64 3388236 8394979 16049269 1706984414240069
810965812797441 8394979 14628067 8394979 8140399 8844453 9814569
512 128 6652558 9681823 17630404
19037014170698441085653014628067 12427157 17069844 11374040 10434519
8528336 10235583
512 256 617437710235583 17630404
18229030154711491069433615471149 10434519 17069844 10044089 10044089
7435738 9997331
512 512 641411910694336 19736867
19736867188697371091169417069844 11374040 18229030 11138071 10641343
3325278 10235583
1024 4 635274 957884 2606476 2723840 2387677
925877 2348509 937600 2353657 990352 983548 2491561 2503178
1024 8 1099636 1861867 4854136 4972145 4374559
1834824 4146499 1815435 4265934 1888889 1841906 3764854 4356809
1024 16 1741810 3251778 7420395 7811791 7008693
3220084 5690162 3149251 6692005 3241960 3447541 5853003 6059442
1024 32 2553783 6093831 11132462 1193690711132462
544489810557785 5917516 10134284 5623115 6059442 8000971 8199542
1024 64 3191372 8457895 15743686 1678995915295157
845789514044758 9064828 15516181 8246774 8408221 9064828 9765601
1024 128 722079011773301 17985196
18689559167899591177330116280798 12639479 18936769 11614118 11018226
9320560 10039528
1024 256 686310010230845 17402221
18291580179851961101822614618393 12037272 17985196 10990032 10769573
8610501 9946527
1024 512 691837610906310 18608584
19719260189367691124909115516181 11903823 18608584 10255274 10662628
7699755 10230845
1024 1024 673397411132462 19629138
20088179200881791136819017331995 11645609 15295157 11103681 11132462
3541348 10230845
2048 4 715839 993193 2476337 2656292 2348384
958397 2207184 944591 2185842 985106 994688 2329912 2495039
2048 8 1211077 1865428 4502520 4983122 4394265
1812296 4146110 1838675 3792790 1817281 1815360 3786104 4240255
2048 16 1850160 3251539 6459541 7698414 6759439
3221057 6498636 3185225 6401772 3407614 3240499 5212953 6024617
2048 32 2506688 5433896 8940345 10780463 9796850
5578583 9431138 5785224 9944290 5640860 5884299 6990474 7903836
2048 64 3089009 8398403 14514788 1551073713748169
819020510037248 8749118 12274742 8390200 8456277 8866519 9796850
2048 128 703628311015480 16525279
18441025169157901124623015538795 12805399 19355169 11187641 11380325
9349021 10240672
2048 256 731802011072275 16783585
18441025172210031170600616001943 12786337 18441025 11305435 11320334
8784909 9944290
2048 512 637800511380325 18129656
19311656189704641100137217221003 12729493 18641120 11320334 11260973
8325147 10096235
2048 1024 731802011129659 18641120
20079056198930551132033417681831 12416686 15399510 11246230 11187641
7503399 10143926
2048 2048 708854110780463 19139540
20079056197104681132033413639023 11706006 10401883 12033995 10179991
2691246 6207471
4096 4 763183 1001461 2427973 2556602 2249320
952753 2185509 927949 2140045 976195 971063 2230918 2316968
4096 8 1274016 1549857 3767675 4476482 4149921
1761711 3536549 1787929 3627654 1847535 1813981 3552638 4034911
4096 16 1862759 3279348 6151473 6782940 6216019
3227596 5792648 3150647 5627567 3298235 3245277 5120972 5490871
4096 32 2550150 5753847 8514134 9989424 9636422
5784846 8865630 5934722 8205092 5744227 5596402 6693092 7447471
4096 64 3190434 8463799 13890515 1552202815287223
849728913434307 9503161 13790167 8660056 8426437 8426437 9593374
4096 128 718580711378861 15219509
17880690176419881140908714787213 13702178 14941541 11470025 11539362
9019223 10065509
4096 256 709968911164417 11800935
13935585146235831160170315273632 13046624 18456987 10950922 10867793
8660056 9729195
4096 512 680443210833527 16380411
17880690179554421143947514673544 12919082 18536646 11508442 10840363
7969117 9461292
4096 1024 653275210580003 14636041
16380411169292201190726416195114 12997272 19135397 11570449 10950922
6941906 8811067
4096 2048 618914610444923 15179168
16846218170807031190726411157166 12151506 16650294 11539362 11222762
5627567 7715028
4096 4096 7004170 8447153 12803544
13834587138345871109949910978915 10806269 11193514 10476771 9729195
2104652 5672159
8192 4 787763 968540 2323361 2395440 2126115
925444 2085592 925544 1259160 881045 928897 2158708 2212217
8192 8 1292360 1831854 3938618 4190311 3837016
1800843 3484475 1807949 3468296 1820498 1823687 3511181 3795898
8192 16 1924397 3307062 5769116 6460047 6085887
3219976 5526912 3279287 5378957 3339526 3301977 4931921 5299316
8192 32 2604627 5584401 8167655 9414128 9224572
5610847 7985426 5958192 7612143 5855636 4703073 6253130 6919267
8192 64 3186234 8393104 10721317 1272203212508980
861404110450659 9558162 11719650 8876637 8150218 8007759 8725605
8192 128 734683810751510 11503841
13318731136575481158529611683783 13539152 13231539 11719650 10836280
7712960 8409538
8192 256 723697210967720 11192805
12840894135231661177184812302946 13344594 12879400 11569692 10734715
7379976 8273861
8192 512 691926710849967 11314434
13323895141235021158529612082308 13040710 18706245 11378128 10569606
7148143 8257953
8192 1024 7809376 9991764 11751717
13772510146037291170368210724663 13085407 18405631 11359320 9742452
6466126 7877411
8192 2048 6621897 9332306 11906462
13517846139288381168775811523131 13277557 17731260 10925870 9254386
5610847 7255309
8192 4096 6532510 9163071 11344319
119437111183673311236730 9879717 11329356 12298542 10100441 9052027
2905979 4976927
8192 8192 5713476 7295362 9635897 9834473 9823226
8752276 9329772 8835550 8952964 8505294 7868391 2036276 4699856
16384 4 793602 976339 2332889 2359401 2083683
942152 2068691 932702 2025521 958861 970616 2174129 2191253
16384 8 1316621 1848798 3948077 4064604 3661171
1769350 2598108 1710213 2951511 1761143 1782199 3517256 3618375
16384 16 1972328 3152008 5724330 6010201 5645791
3092991 5383933 3236628 5321396 3254717 3246874 4906849 5104015
16384 32 2640841 5582045 7907146 8449664 8187902
5510869 7568386 5893706 7447000 5665340 5476176 6232038 6524947
16384 64 2665838 8274664 8972610 8972610 9036322
7055528 9597952 9431966 9746329 8095305 8019726 7113960 7617042
16384 128 771365711046716 10771405
11610361117372771139285310596998 13711520 11299189 11594690 10997217
7105134 7022362
16384 256 782788410806978 10694297
11432656115790601113802910800184 13341500 11604480 11474654 10878833
7013761 7417260
16384 512 782788410815482 11276939
11995428123467251135332611123606 13243794 11932938 11238211 10401316
7086815 7550922
16384 1024 782788410793399 11545987
12109573123556051133086211076987 13150025 19618409 11345828 9876601
6714948 7627187
16384 2048 770241710652851 11803808
12199866120649261098842511306626 13419661 19031618 11062721 10131423
6798654 7223891
16384 4096 7016626 9224331 10577425 10679339 9372790
9683156 9959624 11653678 13708785 10583941 9224331 3717820 5677040
16384 8192 6101994 8316724 9282896 9454025 9399713
8914412 8646345 9092516 9581893 8784505 7824319 2855363 4753105
16384 16384 5559465 7136122 8550595 8550595 8546342
7120594 8368375 7034583 8507196 7240636 7211761 2019925 4372634
32768 64 243907 165911 9274630 9861582 9280267
208814 9375223 9365002 9410529 186161 131414 6936524 7145325
32768 128 163009 181056 9843218 1042562210217137
115074 9583767 13523721 10032915 195318 168350 7037755 7212823
32768 256 231553 177221 10017558 1052220110543188
18010110057878 13023925 10455761 159521 190742 6866864 7063435
32768 512 207887 177964 10376035 1087866610941018
18631510452580 12849799 10929707 191960 187956 6937925 7183043
32768 1024 196158 173361 10691639 1113424411141465
18963810529456 13044940 11191362 203682 189378 6892692 7330935
32768 2048 237930 226379 10832365 1122609911205962
21207610279033 12559754 19129112 216887 159554 6477223 6991215
32768 4096 193082 158767 10070406 1041219510340126
194637 9402803 11530301 14609034 188553 179426 4703301 5991547
32768 8192 217095 193194 8598099 8836923 8856284
123392 8308582 8794513 10123069 137619 161559 3499061 4637441
32768 16384 217085 168641 8133057 8099029 8155256
192300 8056774 7074342 8535623 211167 193018 2688092 4250627
65536 64 167194 116265 884415 771563 807690
72593 582097 9309120 1168386 130574 103927 1840891 609206
65536 128 167245 166455 753365 391203 592647
188236 780460 13523592 1175768 173657 135994 386873 491893
65536 256 176472 124844 778808 740561 1506751
214556 1726405 13075846 1580359 179845 153255 650261 934371
65536 512 190142 161068 806635 653568 1771099
19837010474010 13133323 10690727 249879 187587 620307 594468
65536 1024 224246 204830 3870058 544544 505776
166446 652924 13366423 2091792 177375 161484 447076 593080
65536 2048 161621 181740 1059648 547429 1389677
224177 2081355 13325600 1670514 220996 187846 636748 1005292
65536 4096 199632 171528 964230 607314 2108075
195447 656213 11079852 15059487 182302 158450 477527 870713
65536 8192 161818 171580 975398 1232598 2454906
209137 475163 8736876 10549988 158130 203418 533033 864671
65536 16384 210449 171927 2208017 1089886 1552475
185855 8126998 7225489 8411761 190138 259959 573670 815569

zfs uncompressed:

Auto Mode
Command line used: iozone -a /datapool/db
Output is in Kbytes/sec
Time Resolution = 0.000001 seconds.
Processor cache size set to 1024 Kbytes.
Processor cache line size set to 32 bytes.
File stride size set to 17 * record size.
random
random bkwd record stride
KB reclen write rewrite read reread read
write read rewrite read fwrite frewrite fread freread
64 4 321554 926260 2561267 2892445 2467108
942521 2006158 998622 2358717 1033216 1013707 2278628 2561267
64 8 546928 1562436 4564786 5860307 4274062
1780008 2561267 1734015 3738358 1828508 1828508 3363612 4564786
64 16 1033216 3057153 7100397 9318832 7100397
3022727 5389653 3363612 7100397 3588436 3541098 4274062 6421025
64 32 1768283 5283570 10402178 1290201712902017
5283570 7100397 5860307 9318832 5735102 5283570 5283570 9006179
64 64 2662899 6421025 15972885 2096219115972885
8182586 7100397 7100397 9006179 6421025 7100397 4274062 10402178
128 4 253025 971174 2660335 2784517 2409592
992724 2132084 1009524 2286447 1057236 1024942 2367096 2558895
128 8 484625 1939522 4557257 5325799 4407601
1778862 3759450 1911894 4407601 2004703 1967960 3867787 4407601
128 16 895074 2905056 7476717 8548124 7176872
3380677 4934216 3277486 6406138 3199360 3468030 5122535 6406138
128 32 1451764 4444086 12842051 1254204311720614
5784891 7917784 6045455 9129573 5784891 4717434 6727225 8548124
128 64 2770150 7082197 15881078 2164304915881078
7582312 9129573 8036304 14200794 7917784 7176872 6406138 9129573
128 128 5122535 9795896 18637664
216430491863766410779307 9129573 9795896 10567140 9129573 8548124
4557257 9795896
256 4 390337 917880 2557711 2665657 2345409
889002 2131261 894929 2266207 921029 976301 2366082 2371308
256 8 729045 1755037 4572895 5022044 4422226
1662639 4009406 1766587 4132864 1826695 1729594 3935921 4332998
256 16 1368162 3236056 7314033 7965107 7073132
3087188 6437081 3316006 7120034 3410808 3454704 5841722 6249745
256 32 2305128 5841722 8815202 1222861210651598
5217259 8534922 5428265 9868433 5569035 4819184 6554972 8271916
256 64 3654598 6719046 16072608 1825914614953435
796510710245071 8271916 14353744 7965107 6891544 8024634 10245071
256 128 6107548 8534922 18259146
19591792170962491065159813454450 11695808 14353744 9868433 10245071
7518900 9778562
256 256 5217259 8534922 17096249
19591792182591461024507112812277 10245071 17096249 10245071 9434868
3326279 9868433
512 4 530006 988801 2198475 2337255 2016784
869143 2073249 850217 2198475 914287 896725 2449212 2486072
512 8 951558 1753325 4882800 5019764 4375425
1778004 4271001 1789859 4228947 1862832 1766304 4163357 4340054
512 16 1585086 3140488 7309196 7988981 7115451
3064306 6843354 3325278 6821616 3409755 3158966 5624545 6104175
512 32 2474613 6018636 11138071 1214600911138071
527889210235583 5822804 10235583 5509113 5951911 7647578 8234036
512 64 3284589 8362289 15471149 1706984412797441
730919612215097 9304292 13438092 8234036 7871843 5331314 9681823
512 128 601863610235583 17630404
19037014176304041091169415037801 12499490 18229030 11138071 10856530
8955098 10235583
512 256 657113210235583 18385093
18229030183850931091169414628067 11620224 16543832 10434519 10485468
7647578 9814569
512 512 6395018 9681823 19557124
19557124176304041085653015930214 11138071 12797441 10694336 9638369
3259661 10235583
1024 4 644811 973296 2694787 2753527 2403712
956178 2300703 935151 2311849 956178 994250 2432298 2503178
1024 8 1105865 1874871 4694950 5024495 4211554
1780809 4195100 1738286 4003490 1802483 1855433 4228138 4304412
1024 16 1747480 3220084 7306780 7631350 6830356
3301774 6640274 3284101 6744549 3379719 2156318 5917516 6059442
1024 32 2497356 5417427 11614118 1207110311132462
591751610557785 5917516 10662628 6025439 5417427 7869040 8262639
1024 64 3210456 8457895 15516181 1628079815240881
812201414044758 9320560 15743686 8457895 8391792 9402175 9946527
1024 128 702014911398360 16531459
19020633176889061113246216280798 13142265 18608584 11520658 11132462
9569770 10454984
1024 256 691837610230845 17985196
18608584167899591124909116531459 12071103 18291580 10906310 11132462
8391792 9946527
1024 512 687408411489839 18291580
19276739190206331101822615080341 11936907 18608584 11132462 11278631
7472033 10134284
1024 1024 716059711249091 19719260
20471166192767391139836017985196 11489839 15801608 10878686 11398360
3447541 10255274
2048 4 713876 995610 2639154 2730599 2389540
962370 2104960 928861 2115848 981280 958718 2311106 2461436
2048 8 1212615 1910655 4385291 4900677 4374126
1807720 2933915 1629410 3117032 1685356 1779262 3887189 4196751
2048 16 1865428 3195891 6802261 7643611 6759439
3266376 6225466 3219850 6058611 3379461 3324528 5277002 5920802
2048 32 2572756 5937172 10289741 1198363010959265
5416763 9349021 5816563 9752360 5507054 5904523 7582884 7903836
2048 64 3230749 8398403 15181774 1624402814840791
819020514132698 9308497 14226322 8357547 8190205 9567698 9944290
2048 128 741915010889797 16915790
18480699178286281118764115854271 13301113 18970464 11260973 11502234
9189005 10503637
2048 256 741915011502234 16274804
17977882177917011138032516525279 12979541 18284015 10889797 11502234
8940345 9898453
2048 512 750339910848538 18600754
19486895191395401101548017501701 12882215 18804350 11690076 11001372
7529708 9525260
2048 1024 752970811380325 18928661
20268568198930551144095516525279 12561952 18600754 11642543 11502234
7135648 10096235
2048 2048 723176710401883 19710468
20079056198470921151765714417342 11900619 16274804 11706006 11320334
2959183 7754008
4096 4 763760 963331 2367414 2620558 2356697
951434 2128907 916709 2081448 982953 956147 2203449 2399488
4096 8 1286033 1835886 3972402 4708354 4311344
1822835 3717133 1794840 3628421 1863567 1820517 3567392 4043458
4096 16 1916795 3192212 5867831 7237268 6908408
3332786 5802430 3212508 5284803 3357537 3258202 4887857 5761565
4096 32 2587405 5475122 8447153 1089536210923071
5744227 8276241 5736555 7906767 5902100 5468151 6169144 7558881
4096 64 3105091 8324363 10840363 1452467515112405
882918014636041 9545402 14838300 8793028 8535284 9503161 9891647
4096 128 708504911378861 14889742
16715094159396711147002513980948 13126371 15273632 11439475 10833527
9287391 9920205
4096 256 759900211378861 15635038
17806558179554421160170316380411 13340420 18358372 11007051 11222762
8173861 9202815
4096 512 751589211378861 16996213
18030821182997071119351417356809 13086376 19050521 11809047 10985935
7742845 9100443
4096 1024 770119411409087 17974227
18718416188622761134879416380411 12841826 17974227 11252164 10394367
6758923 8569343
4096 2048 671401810580003 16396044
17516078176419881157044913879294 12919082 14889742 10752164 11007051
5572803 7656576
4096 4096 6575257 8865630 14026607
14026607137460321088845610089154 10586522 9989424 10745439 9119767
2018832 4718699
8192 4 781243 955557 2312727 2346687 2123487
929198 2095130 901906 2036276 977661 978831 2167833 2235244
8192 8 1299742 1807949 3942233 4231596 3846036
1801598 3632566 1798110 3532479 1825334 1842562 3541946 3754421
8192 16 1923858 3259997 5843686 6475875 6122759
3211548 5421393 3234221 5301769 3292800 3275536 4815791 5312425
8192 32 2603837 3044239 7494262 8874344 8876637
5305863 7287625 5732541 7223279 5637544 5316535 6277120 6930432
8192 64 3148282 8315913 9857043 1215067113170677
862485210263360 9742452 11585296 8779111 8224350 7187018 8461310
8192 128 766307411329356 10384332
12298542127409021170368212320592 13587338 13744963 11857157 10939784
6643663 7262978
8192 256 765624410995799 10569606
13951461142701451188998210778492 13386185 12722032 11207409 11013422
7230880 7899143
8192 512 762735111131163 11604860
13744963143416211182451312280959 13105371 18870623 10088578 10088578
7155586 8334066
8192 1024 766478411024023 11993741
14025495152791051142732212211126 13298112 19886343 11363077 9954134
6616796 8159896
8192 2048 771469110721317 11788003
13449061139571281147311111840812 13344594 17767937 11178240 10678002
6429825 7313997
8192 4096 6434642 8549738 11538609 1168775810939784
989394210139188 9905351 11329356 9638600 8436380 2913371 4902367
8192 8192 5669170 7155586 8867473 9649428 9798016
8846925 9309549 8752276 9279379 8309879 7118525 1969738 4413692
16384 4 792495 984268 2316766 2361104 2081852
925853 1630092 906950 1783772 935317 938421 2179854 2200374
16384 8 1326302 1838411 3962191 3989333 3671146
1778371 3602441 1829211 3431888 1831210 1831649 3523568 3599234
16384 16 1933700 3307986 5756940 6045627 5655548
3196878 5331717 3297985 5350398 3271451 3194946 4825871 4990229
16384 32 2567627 3320614 7621266 8311694 7710195
5091536 7578401 5677040 7522817 5387732 5324694 6136321 6392030
16384 64 3104729 8221207 9972633 1086335510659461
8195714 9526105 9552590 10045523 8266700 8098167 7160661 7443774
16384 128 776859410967380 10530420
11425053116201781129176310482232 13472278 11425053 11457436 10842786
7317740 7666328
16384 256 770673710793399 10592098
11362712115966461116698810715976 13254011 11522755 11229029 10596998
6966125 7337273
16384 512 776157410646250 10815482
11482323117533361121436910960383 13097393 11221694 10871948 10930746
7089009 7386962
16384 1024 781275510757915 11466995
11811923120374521090818910851347 12850032 19668946 11368351 9787975
6820923 7540151
16384 2048 780565510715976 11846540
12163157120649261095165010101637 12440603 17730371 9971186 10357421
6728097 7173368
16384 4096 6445388 9377906 10442410
11260308111308131096563010020621 11695328 12073405 8240925 8414486
3670166 5107050
16384 8192 5608926 7089740 8775530 9335863 9508969
9047029 8537847 8229083 9372790 8705493 7301412 2804440 4768607
16384 16384 5589764 6913563 8752060 8760986 8728714
7053355 8507196 7347471 8175239 6901759 7167383 1996103 4312539
32768 64 230915 200119 9184145 9700108 9122575
214993 9181077 9335740 9435078 241375 197798 6866521 7176666
32768 128 155408 210286 9555781 10088146 9909219
218021 9651743 13380213 10119343 215878 188418 7124952 7314548
32768 256 245438 211358 10005161 1038622910502100
20165610076313 12936885 10259083 216026 194716 6795563 7019782
32768 512 224770 172055 10275190 1086404710785611
17750310502100 12881111 10864906 236196 189975 6934774 7189054
32768 1024 224670 244041 10822130 1123343911210532
21732110673373 12941757 11183167 132705 249347 6802626 7291653
32768 2048 279628 277185 11028815 1135408111222432
21980110828951 13097150 18213953 182474 246020 6290744 7106532
32768 4096 223770 189444 9589786 984956710024133
180631 9245930 9640234 12449399 126386 217381 4209100 5310869
32768 8192 289548 212970 8714770 8977184 8963133
192414 8001892 8984813 10246845 179510 205728 3512116 4721559
32768 16384 259355 207628 8124883 8245278 8228987
197801 8139318 7117573 8648416 189515 263243 2684574 4287356
65536 64 238936 129767 2090408 525987 826151
90448 677164 9394385 1025262 116969 121666 1137896 1044564
65536 128 191346 154689 976531 790086 1150584
184619 426549 13396389 1152161 160297 182615 631276 781643
65536 256 117481 130199 853377 817880 1524796
136433 9955086 13098901 482389 124845 133903 471437 893848
65536 512 172186 115005 928350 730833 1262443
182679 204828 13075846 2076276 132742 112534 420170 816657
65536 1024 131621 122795 1853653 1544641 781978
112777 316975 13207787 1555603 121322 161941 465593 874324
65536 2048 115612 154134 977858 1074909 1142198
128591 485873 13086429 2637786 137100 106794 589607 839053
65536 4096 108742 93844 538163 521837 904195
127249 512677 9472079 12253935 126808 64501 379450 910309
65536 8192 114983 124150 633228 934308 1544459
134346 400188 8122916 10597577 139909 114255 483149 1073549
65536 16384 118519 122137 1466259 758280 1260452
123904 520225 7203336 8145301 132301 113137 673200 579078