atitit.提升备份文件复制速度(1) -----分析统计问题and解决方案

atitit.提升备份文件复制速度(1) -----分析统计问题and解决方案

1. 现在的情形 1

2. 硬盘信息 大概50mb/s, 50iops 1

3. 统计小的文件比率 2

4. 复制速度估计.. 2

5. 小文件类型比率按照扩展名 2

6. 速度慢的原因:::iops太低的... 4

7. 解决之道::: 4

7.1. 提升到ssd 硬盘. 4

7.2. 清理垃圾 4

7.3. 清理重复文件 5

7.4. 移动pic/isho文件.. 5

7.5. 打包文件.. . 5

8. 清理后的情形 5

9. 硬盘详细速度测试报告80g+160G 5

SELECT * FROM `foldercount` where file not in (select file from foldercountclraftr ) 

1. 现在的情形

10.6g  , 40370个文件. 2894个文件夹.....两个硬盘中间复制使用了19min

复制要好长时候..从pc电脑到移动硬盘.,硬盘都是通常硬盘..usb电线是2.0的,可以支持40MB/s,,所以,速度问题不在这个地方...

应该是iops不足...

2. 硬盘信息 大概50mb/s, 50iops

要以最慢的那个硬盘计算了...

作者:: 老哇的爪子 Attilax 艾龙，  EMAIL:1466519819@qq.com

转载请注明来源： http://blog.csdn.net/attilax

3. 统计小的文件比率

走十马个工具,,只好嘎自写兰...

遍历文件夹,不个文件名称,尺寸, java 17s走生成sql兰...放得个数据库黑头...在统计...

范围:::  0-----500KB,  500Kb--1.5M ,1.5 M ......

1M 在下面按照radom rw .....  1Mabover  按照 顺序io rw

select COUNT(*) from foldercount where  size<500000   >>>38320

select COUNT(*) from foldercount where size<1500000 and size>500000   >> 694

-----大的文件..

select COUNT(*) from foldercount where size>1500000  >>687   

select sum(size) from foldercount where size>1500000   9605MB

别的ehr

select COUNT(*) from foldercount where  size<20000   >>>25530 个文件.

4. 复制速度估计..

Lit file less than 500kb copy   38320/50iops=13Min 

Lit file 500---1.5MB :::     694/30 iops=23S

Big file copy  10G/50mps=3.2Min  

5. 小文件类型比率按照扩展名

select COUNT(*) from foldercount where  size<20000   >>>25530 个文件.

select count(*) sum,extname from foldercount where  size<20000 GROUP BY extname HAVING sum>5  order by sum DESC

5732 gif   ok

3150 jpg   ok

2506 htm     ok

2426 js ok

1991 txt     ok

1067 cs     ok

1015 css    ok

1010

888 png    ok

589 URL   ok

484 vcf   ok.

440 php   ok

342 aspx   ok

256 class    ok

230 html

225 java

184 Old

153 swf

131 lnk

125 resx

111 Extra

104 dat

103 doc

96 rar

91 xls

81 dll

79 xml

75 resources

74 ps

68 jsp

62 bat

59 ico

55 sql

54 she

54 ssk

53 9]

52 ashx

50 7]

47 jpeg

45 scc

43 tlog

40 cache

39 ahk

38 bak

30 asp

29 csproj

29 log

28 config

27 docx

27 csv

27 json

27 5]

25 refresh

25 zip

25 bmp

25 2]

25 10]

24 1]

23 exe

22 reg

22 s

21 map

20 jar

19 sln

17 user

17 db

16 thmx

16 data

15 xsd

15 tab

15 h

14 vbs

14 ini

12 settings

10 ascx

10 tpl

10 CFG

9 manifest

9 suo

6.   速度慢的原因:::iops太低的...

7. 解决之道:::

7.1. 提升到ssd 硬盘.

Ssd的iops常常是普通硬盘的20倍多...

7.2. 清理垃圾 

垃圾 csv ,,svn  垃圾文件夹...大小还大的...删除...

垃圾图片的规则

Gif 

Jpg::width/height 过小的..size 大小过小的180*180在下面...pc图片(马元数据)

7.3. 清理重复文件

7.4. 移动pic/isho文件..

7.5.  打包文件.. .

可以use winrar  tag 到per 文件夹..

8. 清理后的情形

Ori 10.6g  , 40370个文件. 2894个文件夹

而个 10.1g...File  14378  ,,  folder   1459 

9. 硬盘详细速度测试报告80g+160G

HD Tune Pro: ST380815A File Benchmark  80g

Drive C:  

传输速率测试

文件大小: 500 MB

Sequential read 55074KB/秒

写入循序 50811KB/秒

随机读取 137 IOPS

随机写入 300 IOPS

Random read (queue depth = 32) 154 IOPS

Random write (queue depth = 32) 258 IOPS

HD Tune Pro: WDC WD1600AAJS-00B8D File Benchmark  160g

Drive U:

传输速率测试

文件大小: 500 MB

Sequential read 99937KB/秒

写入循序 91575KB/秒

随机读取 104 IOPS

随机写入 340 IOPS

Random read (queue depth = 32) 150 IOPS

Random write (queue depth = 32) 323 IOPS

HD Tune Pro: ST380815A Random Access

Test capacity: full

Read test

Transfer size operations / sec avg. access time max. access time avg. speed

512 字节

4 KB 59 IOPS 16.740 ms 72.026 ms 0.233 MB/秒

64 KB 57 IOPS 17.410 ms 42.229 ms 3.590 MB/秒

1 MB 29 IOPS 33.651 ms 60.259 ms 29.716 MB/秒

Random 36 IOPS 27.175 ms 89.132 ms 18.857 MB/秒

HD Tune Pro: WDC WD1600AAJS-00B8D Random Access

Test capacity: full

Read test

Transfer size operations / sec avg. access time max. access time avg. speed

512 字节

4 KB 57 IOPS 17.303 ms 653.923 ms 0.226 MB/秒

64 KB 52 IOPS 18.937 ms 297.883 ms 3.300 MB/秒

1 MB 34 IOPS 29.347 ms 308.293 ms 34.075 MB/秒

Random 41 IOPS 23.852 ms 308.929 ms 21.484 MB/秒