iometer，iozone， bonnie++
IOMeter是用来做块级存储测试IO性能的工具，比较适合做SAN、DAS存储的测试，却不适合做针对NAS或者文件系统的测试。虽然它可以运行在文件系统之上，但是其方式是在文件系统中创建一个大的文件，然后再往这个大文件中读写块，这个模拟过程是不能完全反映文件系统的特性的。所以大部分对文件系统（包括NAS）的测试 工具一般选用IOZone、Bonnie++等。
Iometer
Iometer是一个测试简单系统和集群系统下的IO子系统性能的工具；其中dynamometer起到引擎的作用（也就是负载生成器），iometer经常被当作测量工具，其实它也是一个负载生成器workload generator，通过配置可以将iometer仿真为任意程序或benchmark下的磁盘IO负载或网络IO负载，或用于生成合成IO负载。
IOmeter用于以下几个方面：
1、Performance of disk and network controllers.//磁盘和网络控制器的性能；
2、Bandwidth and latency capabilities of buses.//总线带宽和延迟；
3、Network throughput to attached drives. //到附联驱动器的网络带宽；
4、Shared bus performance. //共享的总线性能；
5、System-level hard drive performance. //系统级硬盘驱动器性能；
6、System-level network performance. //系统级网络性能；
测试时分两种情况：单机环境和网络环境；
在单机环境下，运行iometer.exe，它自动运行dynamo，在iometer控制界面里可设置测试参数；
在网络环境下，也有几种测试方式，最简单也是最常用的方式是采用网络映射方式将远程目录映射成本机的一个盘符，然后按照单机情况进行测试；
iozone
主页地址： http://www.iozone.org
通过如下操作测试文件IO性能：read, write, re-read, re-write, read backwards, read strided, fread,fwrite, random read, pread, mmap, aio_read, aio_write.
iozone具有如下特性：
ANSII C source
POSIX async I/O
Mmap() file I/O
Normal file I/O
Single stream measurement
Multiple stream measurement
Distributed fileserver measurements (Cluster) //这个特性很实用
POSIX pthreads
Multi-process measurement
Excel importable output for graph generation //一个有用的特性
Latency plots
64bit compatible source
Large file compatible
Stonewalling in throughput tests to eliminate straggler effects
Processor cache size configurable
Selectable measurements with fsync, O_SYNC //bonnie++最近版本已经加入fsync这一阻塞机制了，保证测试结果的真实性（有没有同步并刷新到磁盘文件中，性能差别很大）
Builds for: AIX, BSDI, HP-UX, IRIX, FreeBSD, Linux, OpenBSD, NetBSD, OSFV3, OSFV4, OSFV5, SCO OpenServer, Solaris, Windows95/98/NT //支持的平台真是多。
安装及测试过程如下：
解压：tar xvf iozone3_237.tar
进入src/current目录；
敲入 make linux； //linux表示目标平台；
编译生成目标文件iozone
进行测试：比如 iozone -a;//所有参数都是缺省的，并完成所有的文件操作；
iozone -s15m -i0 -i1 -t50：其含义如下：-s15m（文件的大小为15MB）；-i0（写/重写操作）；-i1（读/重读操作）；
-t50（工作在throughput模式，并且线程数为50）
当然还有-u 就是工作在CPU利用率模式了，具体细节参考IOzone_msword_98.pdf。
bonnie++
http://www.textuality.com/bonnie/
bonnie++胜在简单，不过准确性稍差
在编译过程中,如果遇到以下错误,可能是因为你没有设置正确的环境变量，设置环境变量后继续编译,一般可以成功
# export LD_LIBRARY_PATH=/usr/lib:/usr/local/lib
# ./configure
编译完成之后会生成bonnie++,可以用来测试了.
bonnie++[-d scratch-dir] 测试目录
[-s size(Mb)[:chunk-size(b)]]文件大小：块大小 默认大小：300M：8K
[-n number-to-stat[:max-size[:min-size][:num-directories]]]文件创建测试的文件数n*1024,最大文件大小，最小文件大小，目录数，max＝－1：hard link，－2：soft link
[-m machine-name]机器名，仅用于显示
[-r ram-size-in-Mb]机器内存大小
[-x number-of-tests] test数量
[-u uid-to-use:gid-to-use] 测试所用的用户名：组名
[-g gid-to-use]
[-q]安静模式
[-f]快速模式,不进行单字符IO测试
[-b]不使用写缓存
[-p processes | -y] bonnie++进程数，使用信号量同步多个进程
[-y] 每个测试开始之前等待信号量
测试实例：
bonnie++ -s 40 -r 1 -n 0 -u 0 -f>>bonnietest （生成的文件名）
bonnie++ -m go –d /tmp –s 30:512 –n 1 –r 2 –x 2 –u 0>>test
结果处理：
测试时，将测试结果重定向到文件，得到的文件内容如上所示
结果可以直接导入excel（新建一个文件，然后是菜单中的数据->导入外部数据）。得到结果中会有+++++的内容
+++++的含义： 当所用时间小于1s的时候，结果不准确，所以不给出
结果项解析：
Sequential Output(顺序写入)
per char
The CPU overhead here is that required to do the stdio code plus the OS file space allocation.
block：每次一个块，顺序写入，完成整个文件，
The CPU overhead should be just the OS file space allocation.
rewrite：每次读出一个块，修改其中一个字节，然后写回
this should test the effectiveness of the filesystem cache and the speed of data transfer.
Sequential Input(顺序读出)
per char：get（），每次一个字符，顺序读出，完成整个文件
This should exercise only stdio and sequential input.
block：每次一个块，顺序读出，完成整个文件
This should be a very pure test of sequential input performance.
Random Seeks(随机寻道)：
3个seeks进程，8K个随机寻道操作，每次都是整块读出，％10得情况，修改一个字节，然后写回
Sequential Create （建立文件时，是真正将文件写入磁盘的）
create
read(stat) 顺序遍历所有文件：操作：读取文件属性，如果文件大小不为0，还要对文件内容进行读取，
delete 顺序删除所有文件
Random Create
create
read(stat) 按随机顺序遍历文件，文档中说这一步不会遍历所有文件，但是代码里边反应的情况好像不是这样
delete 按随机顺序删除所有文件
Intel NAS Performance Toolkit