bonnie++ で I/O 性能を測定 （Linux/Unix での IO ベンチマークソフト）

今まで Linux 上でハードディスクのパフォーマンスを計測する方法として hdparm を使ってきましたが、もう少しいろいろなケース別にパフォーマンスを計測したいなぁーとか NFS のパフォーマンスを計測したいなぁーとか思って、ベンチマークツールがないものかと調べてみたら bonnie++ ってのを知りました。

Bonnie++ now at 1.03e (last version before 2.0)!

インストールは　Linuxシステム構築Tips - bonnie++の使用方法　を参考にインストールしてみました。デフォルトのソースのままだと、今時の高速 HDD だと早すぎて正常値が取得できないので patch をあてる必要があります。

wget http://www.coker.com.au/bonnie++/bonnie++-1.03e.tgz
tar xvfz bonnie++-1.03e.tgz
cd bonnie++-1.03e
./configure

vi bonnie.h
#define MinTime (0.5)　の部分を以下のように数値を変更する
#define MinTime (0.01)
make

ベンチマークの実行時には、測定時に作成する一時ファイルと使用メモリサイズとかを指定するとよい。指定がない場合には、実メモリサイズの２倍の一時ファイルが測定時に作成され、今時のメモリ８GBとかのシステムで実行してしまうと、１６GBものディスク容量が必要となるので注意が必要。

５１２MBの一時ファイルでベンチマークを計測するなら、以下のような設定になります。

./bonnie++ -d /tmp -s 512 -r 256 -u drk

bonnie++ のオプションは以下のようなモノがあります。

# ./bonnie++ 
You must use the "-u" switch when running as root.
usage: bonnie++ [-d scratch-dir] [-s size(MiB)[:chunk-size(b)]]
                [-n number-to-stat[:max-size[:min-size][:num-directories]]]
                [-m machine-name]
                [-r ram-size-in-MiB]
                [-x number-of-tests] [-u uid-to-use:gid-to-use] [-g gid-to-use]
                [-q] [-f] [-b] [-D] [-p processes | -y]

 -b：write時にバッファキャッシュを使わないよう指定する。
 -d：測定対象のディレクトリを指定する。
 -q：実行経過を表示しない。
 -r：メモリサイズを指定する。単位はMB。
 -s：測定時に作成する一時ファイルの最大サイズを指定する。単位はMB。
 -u：実行ユーザを指定する。通常は一般ユーザで実行、rootユーザで実行する場合は-u rootオプションが必要となる。
 -x：連続して測定する場合、実行回数を指定する。

さて身近にある幾つかのマシンで速度計測。最近購入した DELL 1950III で 2.5inc-10K x 4 (RAID5) がかなり高速！ちなみに bonnie++ の測定結果の意味は以下の通り。

連続書き込み(Sequential Output)

連続読み込み（Sequential Input）

ランダムシーク(Random Seek)

連続操作（Sequential Create）

ランダム操作（Random Create）

測定に用いたマシンのデバイス構成はこんな感じ。ついでに hdparm の実行結果も。

[root@dev01 scsi]# cat /proc/scsi/scsi 
Attached devices: 
Host: scsi0 Channel: 00 Id: 01 Lun: 00
  Vendor: SEAGATE  Model: ST373307LC       Rev: 0007
  Type:   Direct-Access                    ANSI SCSI revision: 03

[root@dev01 root]# hdparm -tf /dev/sda1
/dev/sda1:
 Timing buffered disk reads:  192 MB in  3.00 seconds =  64.00 MB/sec


[root@dev02 ~]# cat /proc/scsi/scsi 
Attached devices:
Host: scsi0 Channel: 00 Id: 32 Lun: 00
  Vendor: DP       Model: BACKPLANE        Rev: 1.05
  Type:   Enclosure                        ANSI SCSI revision: 05
Host: scsi0 Channel: 02 Id: 00 Lun: 00
  Vendor: DELL     Model: PERC 6/i         Rev: 1.21
  Type:   Direct-Access                    ANSI SCSI revision: 05

[root@dev02 ~]#  hdparm -tf /dev/mapper/VolGroup00-LogVol00
/dev/mapper/VolGroup00-LogVol00:
 Timing buffered disk reads:  490 MB in  3.01 seconds = 162.87 MB/sec


[root@web01 ~]# cat /proc/scsi/scsi 
Attached devices:
Host: scsi0 Channel: 00 Id: 08 Lun: 00
  Vendor: DP       Model: BACKPLANE        Rev: 1.05
  Type:   Enclosure                        ANSI SCSI revision: 05
Host: scsi0 Channel: 02 Id: 00 Lun: 00
  Vendor: DELL     Model: PERC 5/i         Rev: 1.03
  Type:   Direct-Access                    ANSI SCSI revision: 05

[root@web01 ~]#  hdparm -tf /dev/mapper/VolGroup00-LogVol00
/dev/mapper/VolGroup00-LogVol00:
 Timing buffered disk reads:  404 MB in  3.01 seconds = 134.42 MB/sec


[root@db02 ~]# cat /proc/scsi/scsi 
Attached devices:
Host: scsi0 Channel: 00 Id: 00 Lun: 00
  Vendor: IBM      Model: SERVERAID        Rev: 1.00
  Type:   Direct-Access                    ANSI SCSI revision: 02
Host: scsi0 Channel: 00 Id: 15 Lun: 00
  Vendor: IBM      Model: SERVERAID        Rev: 1.00
  Type:   Processor                        ANSI SCSI revision: 02
Host: scsi0 Channel: 01 Id: 15 Lun: 00
  Vendor: IBM      Model: HH LTO Gen 2     Rev: 0202
  Type:   Sequential-Access                ANSI SCSI revision: 03
Host: scsi0 Channel: 02 Id: 08 Lun: 00
  Vendor: IBM      Model: 39M6750a S320  0 Rev: 1   
  Type:   Processor                        ANSI SCSI revision: 02

[root@db02 ~]# hdparm -tf /dev/sda2
/dev/sda2:
 Timing buffered disk reads:  210 MB in  3.01 seconds =  69.87 MB/sec


[root@db03 ~]# cat /proc/scsi/scsi 
Attached devices:
Host: scsi0 Channel: 00 Id: 08 Lun: 00
  Vendor: DP       Model: BACKPLANE        Rev: 1.05
  Type:   Enclosure                        ANSI SCSI revision: 05
Host: scsi0 Channel: 02 Id: 00 Lun: 00
  Vendor: DELL     Model: PERC 5/i         Rev: 1.03
  Type:   Direct-Access                    ANSI SCSI revision: 05

[root@db03 ~]# hdparm -tf /dev/mapper/VolGroup00-LogVol00
/dev/mapper/VolGroup00-LogVol00:
 Timing buffered disk reads:  494 MB in  3.01 seconds = 164.09 MB/sec

非常に高いお金を払って構築した NetApp がもっと高い性能を示すかと思っていたのですが、所詮は NFS かという結果に終わってしまいました。特に Create での性能がローカル HDD と比較して２桁以上遅いです。もっとも Oracle databse の仕組みからすると create じゃないので、Sequential Output/Input を参考にすることになるわけですが Block-write が非常に遅いのがやっぱり気になります。もっとも nfs client の rsize/wsize が oracle 用にチューニングされているので bonnie++ で最速値がでないってのも要因のひとつにあるとは思うけど・・・それを差し引いてもねぇ〜

うーん・・・Oracle RAC もこれじゃーパフォーマンスでないわけだわ。共有ディスク（NAS）への I/O が一番のネックになるだわね。こりゃ。やっぱし SAN で構築すべきだったかなぁ〜と今更ながら思った。ちなみに oracle と nfs に関する記述は　Oracle Databaseのインストール後の作業　参考になります。もちろん今雨後打て居るマスターＤＢの設定値も以下の通りにしてあります。

さらに脱線するけど NFS の性能を計測するには、SPEC SFS97_R1 (V3.0) を使うといいみたいです。EMC と NetApp はよく比較されるので、ベンチマーク結果ページから比較的手が出そうな価格帯のものを抜粋。数年前にこの結果が欲しかったです。