glusterfs分布式文件服务器

1、安装
至少3台，防止脑裂问题 192.168.1.251-253
独立一个分区/dev/sdb1用于创建glusterfs群集复制卷

fdisk创建新分区/dev/sdb1
sudo fdisk /dev/sdb
n 创建新分区
w 保存硬盘修改并退出

格式化分区：
sudo mkfs.xfs -i size=512 /dev/sdb1

创建挂载点：
sduo mkdir /data/brick1

文件系统列表(/etc/fstab)中加入新分区：
/dev/sdb1   /data/brick1    xfs defaults    1   2

挂载文件系统列表中所有分区：
sudo mount -a

查看是否挂载成功：
sudo mount |grep sdb1

ppa源：
https://launchpad.net/~gluster
sudo add-apt-repository ppa:gluster/glusterfs-6
sudo apt-get update

安装：
sudo apt install glusterfs-server

检查服务是否启动：
sudo systemctl status glusterd

日志
/var/log/glusterfs/

2、配置

2.1）配置信任池
251上探测加入252、253
sudo gluster peer probe 192.168.1.252
sudo gluster peer probe 192.168.1.253

注意：如果使用主机名，则需要在252、253上同样探测一下251
扩展卷时需要在池中节点上探测添加新节点

检查池子信息
sudo gluster pool list  #查看所有节点
sudo gluster peer status #查看其它节点

2.2）配置群集复制券
所有节点上创建复制券对应目录
sudo mkdir /data/brick1/gv1

创建复制券
sudo gluster volume create gv1 replica 3 192.168.1.251:/data/brick1/gv1 192.168.1.252:/data/brick1/gv1 192.168.1.253:/data/brick1/gv1 

启动券、停止券
sudo gluster volume start gv1
sudo gluster volume stop gv1

查看券信息
sudo gluster volume info

扩展卷
需要在池中节点上探测添加新节点
sudo gluster volume add-brick gv1 192.168.1.253:/data/brick1/gv1 192.168.1.254:/data/brick1/gv1
扩展之后需要平衡布局和数据，和停止平衡操作
sudo gluster volume rebalance gv1 start
sudo gluster volume rebalance gv1 stop
查看平衡状态
sudo gluster volume rebalance gv1 status

删除券
sudo gluster volume delete gv1

3、测试
254上挂载glusterfs群集复制券

安装glusterfs-client
sudo apt install glusterfs-client

挂载
sudo mount -t glusterfs 192.168.1.251(252或253):/gv1 /mnt

测试创建、修改、删除文件和目录

4、双节点脑裂处理
查看券治疗信息
sudo gluster volume heal gv1 info

查看券治疗信息中的脑裂信息
sudo gluster volume heal gv1 info split-brain

挂载点查看文件或目录是否处在脑裂状态
sudo getfattr -n replica.split-brain-status 文件（只能对文件）
挂载点可以使用cat file1，如果报 input/output error，说明文件脑裂

修复：
1）按文件大小，大文件做源文件修复
sudo gluster volume heal gv1 split-brian bigger-file 治疗信息中文件路径或GFID

2）按最后修改时间，最后mtime做源文件修复
sudo gluster volume heal gv1 split-brain latest-mtime 治疗信息中文件路径或GFID

3）选用某节点砖块做源修复
修复一个文件
sudo gluster volume heal gv1 split-brain source-brick 192.168.1.251:/data/brick1/gv1 治疗信息中文件路径或GFID
修复所有文件
sudo gluster volume heal gv1 split-brain source-brick 192.168.1.251:/data/brick1/gv1 

修复参考：
https://docs.gluster.org/en/latest/Troubleshooting/resolving-splitbrain/