理论：
分布式文件系统：
分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。
自然地，“分布式”是重点，它是相对与本地文件系统而言的。分布式文件系统通常指C/S架构或网络文件系统，用户数据没有直接连接到本地主机，而是存储在远程存储服务器上。NFS/CIFS是最为常见的分布式文件系统，这就是我们说的NAS系统。分布式文件系统中，存储服务器的节点数可能是1个(如传统NAS)，也可以有多个(如集群NAS)。对于单个节点的分布式文件系统来说，存在单点故障和性能瓶颈问题。除了NAS以外，典型的分布式文件系统还有AFS，以及下面的集群文件系统(如Lustre, GlusterFS, PVFS2等)。
集群系统区别：
集群”主要分为高性能集群HPC(High Performance Cluster)、高可用集群HAC(High Availablity Cluster)和负载均衡集群LBC(Load Balancing Cluster)。
集群文件系统是指协同多个节点提供高性能、高可用或负载均衡的文件系统，它是分布式文件系统的一个子集，消除了单点故障和性能瓶问题。对于客户端来说集群是透明的，
它看到是一个单一的全局命名空间，用户文件访问请求被分散到所有集群上进行处理。此外，可扩展性(包括Scale-Up和Scale-Out)、可靠性、易管理等也是集群文件系统追求的目标。
glusterfs安装：
安装repo源
wget https://download.gluster.org/pub/gluster/glusterfs/3.7/3.7.9/CentOS/glusterfs-epel.repo
yum安装
yum install -y glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma
机器准备，话不多说，均按照上述步骤安装glusterfs
四台虚拟机 [root@storage03 strick2]# cat /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 192.168.142.148 mystorage1 192.168.142.150 mystorage2 192.168.142.151 mystorage3 192.168.142.152 mystorage4
每台机器添加两块硬盘，用作数据盘
Linux下扫描scsi总线
echo "- - -" > /sys/class/scsi_host/host0/scan
格式化硬盘并挂载
mkfs.xfs /dev/sdb mkfs.xfs /dev/sdc #新建文件夹步骤略 mount /dev/sdb /storage/brick1/ mount /dev/sdc /storage/brick2/
#写入开机启动
[root@mystorage1 ~]# tail -n 2 /etc/fstab /dev/sdb /storage/brick1 xfs defaults 0 0 /dev/sdc /storage/brick2 xfs defaults 0 0
节点操作
#查看节点状态
[root@storage03 strick2]# gluster peer status Number of Peers: 3 Hostname: mystorage1 Uuid: 85e9f14e-5e4f-4d37-acc0-f1db27ffd40c State: Peer in Cluster (Connected) Hostname: mystorage4 Uuid: 85627ca6-0039-4494-8c7e-26fd103cfb0c State: Peer in Cluster (Connected) Hostname: mystorage2 Uuid: 7232833b-c4b8-429a-aa9b-498f48ed11fe State: Peer in Cluster (Connected) You have new mail in /var/spool/mail/root
#删除节点
[root@storage03 strick2]# gluster peer detach mystorage1 peer detach: success
#添加节点
[root@storage03 strick2]# gluster peer probe mystorage1 peer probe: success.
#拷贝虚拟机，添加peer节点时，报错
[root@mystorage01 ~]# gluster peer probe mystorage4 peer probe: failed: Peer uuid (host mystorage4) is same as local uuid
#解决办法：
[root@mystorage01 ~]# gluster system uuid reset Resetting uuid changes the uuid of local glusterd. Do you want to continue? (y/n) y trusted storage pool has been already formed. Please detach this peer from the pool and reset its uuid.