zoukankan      html  css  js  c++  java
  • 【Linux】time+dd测试硬盘读写速度

    dd 是 Linux/UNIX 下的一个非常有用的命令,作用是用指定大小的块拷贝一个文件,并在拷贝的同时进行指定的转换。

    dd 命令通用语法格式如下:

    dd if=path/to/input_file of=/path/to/output_file bs=block_size count=number_of_blocks
    命令简介
    主要选项(指定数字的地方若以下列字符结尾乘以相应的数字: b=512, c=1, k=1024, w=2, xm=number m): 
    if=file                 输入文件名,缺省为标准输入。 
    of=file                 输出文件名,缺省为标准输出。 
    ibs=bytes                一次读入 bytes 个字节(即一个块大小为 bytes 个字节)。 
    obs=bytes                一次写 bytes 个字节(即一个块大小为 bytes 个字节)。 
    bs=bytes                 同时设置读写块的大小为 bytes ,可代替 ibs 和 obs 。 
    cbs=bytes                一次转换 bytes 个字节,即转换缓冲区大小。 
    skip=blocks               从输入文件开头跳过 blocks 个块后再开始复制。 
    seek=blocks                 从输出文件开头跳过 blocks 个块后再开始复制。(通常只有当输出文件是磁盘或磁带时才有效)。 
    count=blocks              仅拷贝 blocks 个块,块大小等于 ibs 指定的字节数。 
    conv=conversion[,conversion...]    用指定的参数转换文件。 
    iflag=FLAGS              指定读的方式FLAGS,参见“FLAGS参数说明”
    oflag=FLAGS              指定写的方式FLAGS,参见“FLAGS参数说明”

    conv 转换参数:

    ascii                  转换 EBCDIC 为 ASCII。 
    ebcdic                    转换 ASCII 为 EBCDIC。 
    ibm                   转换 ASCII 为 alternate EBCDIC. 
    block                  把每一行转换为长度为 cbs 的记录,不足部分用空格填充。 
    unblock                 使每一行的长度都为 cbs ,不足部分用空格填充。 
    lcase                  把大写字符转换为小写字符。 
    ucase                  把小写字符转换为大写字符。 
    swab                   交换输入的每对字节。 
    noerror                 出错时不停止。 
    notrunc                 不截短输出文件。
    sync                   把每个输入块填充到ibs个字节,不足部分用空(NUL)字符补齐。

    FLAGS 参数说明:

    append -append  mode  (makes  sense  only  for output; conv=notrunc sug-gested)
    
    direct                 读写数据采用直接IO方式;
    directory              读写失败除非是directory;
    dsync                 读写数据采用同步IO;
    sync                 同上,但是针对是元数据
    fullblock              堆积满block(accumulate full blocks of input )(iflag only);
    nonblock               读写数据采用非阻塞IO方式
    noatime                读写数据不更新访问时间

    time+dd 测磁盘读写速度

    1、先熟悉两个特殊的设备及一些相关参数:

    1) time有计时作用,dd用于复制,从if读出,写到of;

    2) if=/dev/zero(产生字符)不产生IO,因此可以用来测试纯写速度

    3) 同理of=/dev/null(回收站、无底洞)不产生IO,可以用来测试纯读速度

    4) 将/tmp/test拷贝到/var则同时测试了读写速度;

    5) bs是每次读或写的大小,即一个块的大小,count是读写块的数量。

    当写入到驱动盘的时候,我们简单的从无穷无用字节的源 /dev/zero 读取,当从驱动盘读取的时候,我们读取的是刚才的文件,并把输出结果发送到无用的 /dev/null。在整个操作过程中, DD 命令会跟踪数据传输的速度并且报告出结果。

    2.测试磁盘写能力(写速度)

    time dd if=/dev/zero of=test.dbf bs=8k count=300000

    其中/dev/zero是一个伪设备,它只产生空字符流,对它不会产生IO,所以,IO都会集中在of文件中,of文件只用于写,所以这个命令相当于测试磁盘的写能力,上面为每一块大小是8k,共有300000块。

    输出的结果类似(因为一般更长测试时间更准确,所以可以设置count大一些):
    300000+0 records in
    300000+0 records out

    real 0m36.669s
    user 0m0.185s
    sys 0m9.340s

    所以写速度为:8*300000/1024/36.669=63.916M/s

    3、测试磁盘读能力(读速度)

    time dd if=/dev/sda1 of=/dev/null bs=8k

    因为/dev/sdb1是一个物理分区,对它的读取会产生IO,/dev/null是伪设备,相当于黑洞,of到该设备不会产生IO,所以,这个命令的IO只发生在/dev/sdb1上,也相当于测试磁盘的读能力。(Ctrl+c终止测试)

    输出的结果类似:
    448494+0 records in
    448494+0 records out


    real 0m51.070s
    user 0m0.054s
    sys 0m10.028s

    所以sda1上的读取速度为:8*448494/1024/51.070=68.61M/s

    上面指的是从if的路径写到of的路径,或者从if的路径输出到of的路径

    bs的命令使用形式是:bs=xxx count=mmm

    含义:bs=600 count=1,备份第一块为600个字节的区域.(默认大小为512个字节)

               bs=512 count=2,备份前2块总共为1024个字节的区域

    dd的输出是:

    x+y records in

    m+n records out

    其中 x和m的含义是 x和m个完整的块(也就是你用bs指定的块大小)被读入和写出。

    其中y和n的含义是 y和n个不完整的块(部分块)被读入和写出。

    最常见产生的不完整块的读入是由于碰到了读入的文件尾,比如你有一个文件a.log的大小是10个字节,你用下面的命令就会出现1+1的情况,因为第二个块不够6个字节,只有4字节。

    dd if=a.log of=b.log bs=6 count=21+1 records in1+1 records out常见的出现0+0的情况是由于被读的文件是空文件(0字节),

    比如下面的命令dd if=/dev/null of=b.log bs=6 count=20+0 records in0+0 records out

    4、测试同时读写能力

    time dd if=/dev/sdb of=/testrw.dbf bs=4k

    在这个命令下,一个是物理分区,一个是实际的文件,对它们的读写都会产生IO(对/dev/sdb是读,对/testrw.dbf是写),假设它们都在一个磁盘中,这个命令就相当于测试磁盘的同时读写能力。

    5、测试纯写入性能

    dd if=test of=/dev/null bs=8k count=10000 iflag=direct

    命令结尾添加oflag=direct将跳过内存缓存,添加oflag=sync将跳过hdd缓存。

    6、测试纯读取性能

    dd if=test of=/dev/null bs=8k count=10000 iflag=direct

    eg1:Router上进行读写测试脚本:

    #!/bin/sh
    rm /mnt/mmcblk0p1/ddtest     'dev下面的mmcblk0p1的设备,mnt下面的mmcblk0p1是个目录,才可以读写
    mytime=1
    while [ 1 ]
    do
      echo "===NO."$mytime" TEST==="
      time dd if=/dev/zero of=/mnt/mmcblk0p1/ddtest bs=8k count=10240       ’mmcblk0p1下创建ddtest文件夹,往文件夹里写入数据
      sleep 5
      rm /mnt/mmcblk0p1/ddtest   
      sleep 3
      echo ""
      let mytime=mytime+1
    done

    写一块是8k 一共写了10240块 数据一共是 8k*10240 = 80M

    注意:dd 只能提供一个大概的测试结果,而且是连续 I/O 而不是随机 I/O,理论上文件规模越大,测试结果越准确。 同时,iflag/oflag 提供 direct 模式,direct 模式是把写入请求直接封装成 I/O 指令发到磁盘,非 direct 模式只是把数据写入到系统缓存就认为 I/O 成功,并由操作系统决定缓存中的数据什么时候被写入磁盘。(参考链接:http://www.360doc.com/content/15/0906/17/8737500_497292503.shtml

    【测试说明】

    纯读:time dd if=/dev/mmcblk1p3 of=/dev/null bs=8k

    纯写:time dd if=/dev/zero of=/ysdisk/iotest bs=8k count=102400

    多次测试,取平均值

    *******************************************

    【特定场景的io分析】

    构造特定场景,记录通过命令iostat -zx 1查看并记录当前io情况

  • 相关阅读:
    Windows上部署MySql
    LeetCode 将一个按照升序排列的有序数组,转换为一棵高度平衡二叉搜索树
    LeetCode 把二叉搜索树转换为累加树
    Spring Cloud Eureka 分布式开发之服务注册中心、负载均衡、声明式服务调用实现
    mysql事务详解
    Java并发编程之ThreadLocal解析
    redis之mq实现发布订阅模式
    Zookeeper之Leader选举过程
    Spring Boot MyBatis 数据库集群访问实现
    分布式配置中心之spring-cloud-config
  • 原文地址:https://www.cnblogs.com/chenxiaomeng/p/9533772.html
Copyright © 2011-2022 走看看