zoukankan      html  css  js  c++  java
  • PVFS2 1.4.0的安装、配置与性能测试

    PVFS2 1.4.0说实在话,做的很不错,起码在安装配置这方面很简单-无需重新编译kernel,安装手册也写的很不错,安装很顺利,所以,不再赘述了,直接参考这篇Quick Start,很详细:


    很简单的将安装步骤说一下(我的集群四个节点,每个节点四个Core Xeon LV,主机名是compute1 --- compute4,compute1做管理节点,所以做pvfs 的matadata server,不做I/O Server,其他三个节点做I/O server)

    然后就是做性能测试了,性能测试我做了两个,一个是将compute1上面的一个2.2G的文件拷贝到pvfs的目录下(/mnt/pvfs2, 这个目录是其他三台节点的三个分区组成的,每个分区都是80G左右,所以,这个pvfs的虚拟分区有240GB),测试下来,耗时40秒--相当不错,因 为机器的硬盘是SATA硬盘,理论速率是150Mb/s,而这个速度基本上是SATA硬盘理论速度的好多好多倍了。拷贝完后,我们在每台机器上的pvfs 分区下看,就能看到基本上每台都存储了700M的数据,加起来差不多就是2.2GB。注意,compute1不能做为I/O Server,因为如果这样的话,compute1就又要读文件(因为源文件在compute1上),又要写文件,整体的速度就被compute1拖慢 了!

    然后是拷贝22个文件,每个文件都是100MB,总大小也是2.2GB,这次测试耗时4分钟,这个性能基本上和在单机上写本地盘的速度一样了,所以,可见,PVFS在处理单个大文件的时候有优势,这也是分布式文件系统的原理所导致的。

    最后再罗嗦两点体会:

    1、PVFS2支持MPICH的ROMIO,但是要求MPICH2要打一个patch,而且configure的时候要有所变动。这样出来的MPICH2就能不通过Linux kernel读写文件,而是直接和PVFS Server通信,从而直接读写数据。

    2、要PVFS支持透明的读写,要加载PVFS2的module(.ko文件在2.6内核下),而且要启动pvfs-client daemon,而且要mount PVFS的目录。基本上,哪台机器要做client,那台机器上就要启动pvfs-client,就要加载PVFS2的module,就要mount PVFS的目录。PVFS2允许一台机器可以同时做matadata server、I/O Server和client。

    3、我对PVFS2还是比较满意的,起码安装配置不复杂,性能也还算不错。现在还要继续深入看PVFS的文档,主要看I/O Server是否有冗余备份的特性,也就是如果某个节点的硬盘挂了,那么数据如何才能不损失,还有,当PVFS正在读写数据的时候,某块硬盘坏了,此时 PVFS有什么应对策略。
     

  • 相关阅读:
    ValueError:Expected more than 1 value per channel when training, got input size torch.Size([1, 512, 1, 1])
    指定GPU运行
    ModuleNotFoundError: No module named 'past'
    ImportError: libSM.so.6: cannot open shared object file: No such file or dir
    ImportError: libgthread-2.0.so.0: cannot open shared object file: No such file or directory
    zsh: command not found: conda
    TypeError: Class advice impossible in Python3. Use the @implementer class decorator instead.
    数据结构(八)图
    数据结构(二)线性表
    数据结构(七)数与二叉树
  • 原文地址:https://www.cnblogs.com/super119/p/2025518.html
Copyright © 2011-2022 走看看