glusterfs 测试

简介

GlusterFS系统是一个可扩展的网络文件系统，相比其他分布式文件系统，GlusterFS具有高扩展性、高可用性、高性能、可横向扩展等特点，并且其没有元数据服务器的设计，让整个服务没有单点故障的隐患。

安装

server

在两台server服务器上分别执行以下命令

安装

yum install centos-release-gluster
yum install glusterfs-cli glusterfs-geo-replication glusterfs-fuse glusterfs-server glusterfs

开启glusterd服务

systemctl enable glusterd.service
systemctl enable glusterfsd.service
systemctl start glusterd.service
systemctl start glusterfsd.service
systemctl status glusterfsd.service
systemctl status glusterd.service

建立互信池

# server1 执行
gluster peer probe server2
# server2 执行
gluster peer probe server1

建立GlusterFS volume ，我们这里建立分布式卷

1. 在server1创建目录

   mkdir /data/brick1/gv0
   

2. 在server2创建目录

   mkdir /data/brick1/gv0
   

3. 在任意一台服务器上执行（分布式卷）

   gluster vol create dist-vol glusterserver1:/rhs/brick1/dist-vol glusterserver2:/rhs/brick1/dist-vol
   gluster volume start dist-vol
   

4. 启动完成后查看状态

   gluster volume info
   gluster volume status
   

client

在客户端服务器上安装

yum install glusterfs-fuse

创建目录用来挂载服务端的GlusterFS volume

mkdir /mnt/gluster

挂载

mount -t glusterfs server0:/dist-vol /mnt/gluster

测试

安装测试工具IOR

git clone https://github.com/chaos/ior.git
mv ior ior_src
cd ior_src/
./bootstrap
./configure --prefix=/lustre/software/ior/
make
make install

测试过程中参数的作用

-v表示详细模式
-B表示通过传递缓存
-z表示随机任务排序
-F表示每个进程的文件
-w表示写操作
-r表示读取操作
-t表示传输速率（以字节为单位的传输大小）
-b表示块大小
-o表示输出测试文件
<client_hostname>是用于客户端的主机的名称
<n_procs>是进程数

吞吐量测试命令

mpiexec --hosts=<client_hostname> -np 4 /root/ior/bin/ior -a MPIIO -v -B -F -w -r -t 64m -b 4G -o /mnt/gluster/test.`date +"%Y-%m-%d_%H-%M-%S"`

IOPs 测试命令

 mpiexec --hosts=<client_hostname> -np 4 /root/ior/bin/ior -a MPIIO -v -z -F -w -r -t 4M -b 80m -o /mnt/gluster/test.`date +"%Y-%m-%d_%H-%M-%S"`