测试结论
第一组数据作表格作图:
第二组数据作表格作图:
根据以上图分析得出以下结论:
1、 本地存储的读写速率基本保持23M左右,说明本地存储比较稳定。
2、 HDFS存储两个数据节点的读写速率性能比较好,当文件大小为1G时与本地存储性能接近,说明具备高可用性,测试过程中停掉一个节点,正常读写文件,说明也具备高稳定性。
3、 HDFS存储两个数据节点的读写速率比HDFS存储单个数据节点的读写速率提升1.6倍,说明具备高性能和高扩展性。
4、 HDFS存储在文件大于100M时读写速率15M/s以上,文件大于100M满足预期目标。
建议
HDFS存储测试建议和问题:
1、 hdfs存储对小文件支持的不好。
2、 hdfs客户端使用CPU过高。
3、 由于第二个缺点,实现多个客户端并发相当困难,待问题解决后续补测。
4、 测试过程中dd命令中采用/dev/urandom设备文件产生测试文件,避免磁盘缓存导致结果不准。
第2个缺点需要后续跟踪,找出问题的原因,导致系统真正实施和运行的性能带来影响。