GFS 日常操作

实验环境

配置规划

 软件下载

下载地址
http://bits.gluster.org/pub/gluster/glusterfs/3.4.2/x86_64/
RPM安装包
glusterfs-3.4.2-1.el6.x86_64.rpm
glusterfs-api-3.4.2-1.el6.x86_64.rpm
glusterfs-cli-3.4.2-1.el6.x86_64.rpm
glusterfs-fuse-3.4.2-1.el6.x86_64.rpm
glusterfs-libs-3.4.2-1.el6.x86_64.rpm
glusterfs-server-3.4.2-1.el6.x86_64.rpm依赖包安装
依赖包
Rpcbind
Libaio
Lvm2-devel
YUM安装
Yum install rpcbind libaio lvm2-devel

 软件安装

安装服务器端软件包
glusterfs-3.4.2-1.el6.x86_64.rpm
glusterfs-cli-3.4.2-1.el6.x86_64.rpm 
glusterfs-libs-3.4.2-1.el6.x86_64.rpm 
glusterfs-api-3.4.2-1.el6.x86_64.rpm 
glusterfs-fuse-3.4.2-1.el6.x86_64.rpm 
glusterfs-server-3.4.2-1.el6.x86_64.rpm
安装客户端软件包
glusterfs-3.4.2-1.el6.x86_64.rpm
glusterfs-libs-3.4.2-1.el6.x86_64.rpm
glusterfs-fuse-3.4.2-1.el6.x86_64.rpm

 

工具安装

工具软件
Atop, iperf, sysstat
dd, Iozone, fio, postmark
工具安装
yum install sysstat
rpm –ivh *.rpm 
gcc –o postmark postmark-1.52.c

 系统配置

主机名设置
/etc/hosts  server1, server2, server3
DNS设置
编辑/etc/resolv.conf
nameserver 192.168.8.2
NTP设置
/etc/ntp.conf
关闭防火墙
Service iptables stop; chkconfig iptables off
设置Selinux
/etc/selinux/config
SELINUX=disabled

磁盘分区
EXT4格式化工具目前最大支持16TB
使用parted进行磁盘分区
分区格式化
Mkfs.ext4 –L /brick1/dev/sdb

服务配置

分区自动挂载
/etc/fstab
LABLE=/brcik1 /brick1 ext4 defaults 1 1
Gluster服务自启动
Service glusterd start
Chkconfig glusterd on

二。开始hash创建

[root@glusterfs1 ~]# gluster peer probe glusterfs2
peer probe: success: host glusterfs2 port 24007 already in peer list
[root@glusterfs1 ~]# gluster peer probe glusterfs3
peer probe: success: host glusterfs3 port 24007 already in peer list
[root@glusterfs1 ~]# gluster peer info
unrecognized word: info (position 1)
[root@glusterfs1 ~]# gluster peer status
Number of Peers: 2

Hostname: glusterfs2
Port: 24007
Uuid: f95fe5a9-eb37-4d7c-b73b-46224a9e5288
State: Peer in Cluster (Connected)

Hostname: glusterfs3
Port: 24007
Uuid: b825a8e5-de88-4ec6-a8b5-a2329d7f5d35
State: Peer in Cluster (Connected)


#注意：：如果报错请检查24007端口是否开启。。

div>

删除节点

Gluser peer detach IP/主机名</

#创建一个叫meizi的卷 使用的是glusterfs1下的挂载目录/brick1/创建一个b1的目录
[root@glusterfs1 /]# gluster volume create meizi glusterfs1:/brick1/b1


#启动卷
[root@glusterfs1 /]# gluster volume start meizi
volume start: meizi: success

#查看卷信息
[root@glusterfs1 /]# gluster volume info
 
Volume Name: meizi
Type: Distribute
Volume ID: ea16ad50-60d1-476e-842c-b429a80d493d
Status: Started
Number of Bricks: 1
Transport-type: tcp
Bricks:
Brick1: glusterfs1:/brick1/b1


#挂载卷：发现卷已经挂载到本地,可以用别名或者IP
[root@glusterfs1 /]# mount -t glusterfs 192.168.1.109:/meizi /mnt
[root@glusterfs1 /]# df -h
Filesystem            Size  Used Avail Use% Mounted on
/dev/sda2              18G  2.6G   15G  16% /
tmpfs                 495M  228K  495M   1% /dev/shm
/dev/sda1             291M   33M  243M  12% /boot
/dev/sdb1             7.9G  147M  7.4G   2% /brick1
/dev/sdc1             7.9G  146M  7.4G   2% /brick2
192.168.1.109:/meizi  7.9G  146M  7.4G   2% /mnt

 GlusterFS命令

GlusterFS命令
gluster peer probe HOSTNAME
gluster volume info
gluster volume create VOLNAME [stripe COUNT] 
[replica COUNT] [transport tcp | rdma] BRICK …
gluster volume delete VOLNAME
gluster volume add-brick VOLNAME NEW-BRICK ...
gluster volume rebalance VOLNAME start



#添加集群理的brick
[root@glusterfs1 b1]# gluster volume add-brick meizi glusterfs2:/brick1/b2 glusterfs3:/brick1/b3
volume add-brick: success
[root@glusterfs1 b1]# gluster volume info
 
Volume Name: meizi
Type: Distribute
Volume ID: ea16ad50-60d1-476e-842c-b429a80d493d
Status: Started
Number of Bricks: 3
Transport-type: tcp
Bricks:
Brick1: glusterfs1:/brick1/b1
Brick2: glusterfs2:/brick1/b2
Brick3: glusterfs3:/brick1/b3


# 发现磁盘扩展大了
[root@glusterfs1 b1]# df -h
Filesystem            Size  Used Avail Use% Mounted on
/dev/sda2              18G  2.6G   15G  16% /
tmpfs                 495M  228K  495M   1% /dev/shm
/dev/sda1             291M   33M  243M  12% /boot
/dev/sdb1             7.9G  147M  7.4G   2% /brick1
/dev/sdc1             7.9G  146M  7.4G   2% /brick2
192.168.1.109:/meizi   24G  310M   22G   2% /mnt


#在/mnt/里创建目录/发现 3台服务器里面的/brick1/b{1..3}里面都有文件了。


#删除操作删除一个节点把3节点逻辑磁盘删除

[root@glusterfs1 b1]# gluster volume remove-brick meizi glusterfs3:/brick1/b3 
Removing brick(s) can result in data loss. Do you want to Continue? (y/n) y
volume remove-brick commit force: success
[root@glusterfs1 b1]# gluster volume info
 
Volume Name: meizi
Type: Distribute
Volume ID: ea16ad50-60d1-476e-842c-b429a80d493d
Status: Started
Number of Bricks: 2
Transport-type: tcp
Bricks:
Brick1: glusterfs1:/brick1/b1
Brick2: glusterfs2:/brick1/b2

#发现磁盘变小 现在是2给磁盘
[root@glusterfs1 b1]# df -h
Filesystem            Size  Used Avail Use% Mounted on
/dev/sda2              18G  2.6G   15G  16% /
tmpfs                 495M  228K  495M   1% /dev/shm
/dev/sda1             291M   33M  243M  12% /boot
/dev/sdb1             7.9G  148M  7.4G   2% /brick1
/dev/sdc1             7.9G  146M  7.4G   2% /brick2
192.168.1.109:/meizi   16G  296M   15G   2% /mnt


#但是发现数据没有恢复，只剩下其中在线节点的数据，如果想要数据从被删除的brick里面底层copy过去
[root@glusterfs2 ceshi]# ll
total 156
-rw-r--r-- 2 root root     0 Mar 18 04:59 b
-rw-r--r-- 2 root root 56728 Mar 18 05:00 glusterfs-api-3.4.2-1.el6.x86_64.rpm
-rw-r--r-- 2 root root 98904 Mar 18 05:00 glusterfs-cli-3.4.2-1.el6.x86_64.rpm

#不管增加还是删除一般都会对meizi这个卷做负载均衡，不然数据分布会集中在老的分布上
[root@glusterfs2 ceshi]# gluster volume rebalance meizi start
volume rebalance: meizi: success: Starting rebalance on volume meizi has been successful.
ID: a46ce2ba-9237-48ee-bfbc-e9551716d4eb


#当你在去加删除的3节点逻辑盘时候报错，是因为3节点力有这个集群的扩展卷，需要吧/brick1/b3删除以后就可以加了，加完在执行rebalance来平均负载（如果线上，建议业务不忙的时候在做）
[root@glusterfs2 mnt]# gluster volume add-brick meizi glusterfs3:/brick1/b3
volume add-brick: failed: 
[root@glusterfs2 mnt]# gluster volume add-brick meizi glusterfs3:/brick1/b3
volume add-brick: success

[root@glusterfs2 mnt]# gluster volume rebalance meizi start
volume rebalance: meizi: success: Starting rebalance on volume meizi has been successful.
ID: b18108b5-fdde-4b98-9b4e-552c6bd53f74

#删除卷

#删除的时候建议先卸载 umount 

#在停止卷
[root@glusterfs2 ceshi]# gluster volume stop meizi
Stopping volume will make its data inaccessible. Do you want to continue? (y/n) y
volume stop: meizi: success

#删除卷
[root@glusterfs2 ceshi]# gluster volume delete meizi
Deleting volume will erase all information about the volume. Do you want to continue? (y/n) y
volume delete: meizi: success

#查看卷的时候已经没有了
[root@glusterfs2 ceshi]# gluster volume info
No volumes present

#删除底层数据
[root@glusterfs1 ceshi]# rm -rf /brick1/b1/
[root@glusterfs2 brick1]#  rm -rf /brick1/b2
[root@glusterfs3 ceshi]#  rm -rf /brick1/b3

 三。复制卷

#创建复制卷  创建1个复制卷由2给逻辑磁盘组成
[root@glusterfs1 ceshi]# gluster volume create meizi replica 2 glusterfs1:/brick1/b1 glusterfs2:/brick1/b2
volume create: meizi: success: please start the volume to access data

#启动卷
[root@glusterfs1 ceshi]# gluster volume  start meizi
volume start: meizi: success

#查看卷信息
[root@glusterfs1 ceshi]# gluster volume info
 
Volume Name: meizi
Type: Replicate
Volume ID: d6cc9695-9c7d-4747-9e30-755e89b1047b
Status: Created
Number of Bricks: 1 x 2 = 2
Transport-type: tcp
Bricks:
Brick1: glusterfs1:/brick1/b1
Brick2: glusterfs2:/brick1/b2

#挂载卷,复制卷相当于raid1空间利用率只有一半
[root@glusterfs1 mnt]# mount -t glusterfs 192.168.1.109:/meizi /mnt/ 
[root@glusterfs1 mnt]# df -h
Filesystem            Size  Used Avail Use% Mounted on
/dev/sda2              18G  2.6G   15G  16% /
tmpfs                 495M  228K  495M   1% /dev/shm
/dev/sda1             291M   33M  243M  12% /boot
/dev/sdb1             7.9G  147M  7.4G   2% /brick1
/dev/sdc1             7.9G  146M  7.4G   2% /brick2
192.168.1.109:/meizi  7.9G  146M  7.4G   2% /mnt





#卷同步操作，删除某一个节点力的信息
[root@glusterfs1 vols]# rm -rf /var/lib/glusterd/vols/meizi/

#从节点2还原节点配置文件
[root@glusterfs1 vols]# gluster volume sync glusterfs2 all

Sync volume may make data inaccessible while the sync is in progress. Do you want to continue? (y/n) y
volume sync: success
[root@glusterfs1 vols]# ls
meizi

 卷参数配置

Gluster volume set <卷> <参数>
参数项目 说明 缺省值 合法值
Auth.allow IP访问授权 *(allow all) Ip地址
Cluster.min-free-disk 剩余磁盘空间阈值 10% 百分比
Cluster.stripe-block-size 条带大小 128KB 字节
Network.frame-timeout 请求等待时间 1800s 0-1800
Network.ping-timeout 客户端等待时间 42s 0-42
Nfs.disabled 关闭NFS服务 Off Off|on
Performance.io-thread-count IO线程数 16 0-65
Performance.cache-refresh-timeout 缓存校验周期 1s 0-61
Performance.cache-size 读缓存大小 32MB 字节

#授权远程访问。  
#允许192.168.1.109访问
[root@glusterfs1 vols]# gluster volume set meizi auth.allow 192.168.1.109
#拒绝192.168.1.104 访问 也可以用网络段
[root@glusterfs1 vols]# gluster volume set meizi auth.reject 192.168.1.104
[root@glusterfs1 vols]# gluster volume set meizi auth.reject 192.168.1.*

#关闭NFS进程
[root@glusterfs1 vols]# ps -ef |grep nfs
root     34280     1  0 05:31 ?        00:00:00 /usr/sbin/glusterfs -s localhost --volfile-id gluster/nfs -p /var/lib/glusterd/nfs/run/nfs.pid -l /var/log/glusterfs/nfs.log -S /var/run/2c9f3b7533e5ab1ee0c5c1fb6a6831bd.socket
root     34876 28232  0 05:52 pts/1    00:00:00 grep nfs
[root@glusterfs1 vols]# gluster volume set meizi nfs.disable on
volume set: success
[root@glusterfs1 vols]# ps -ef |grep nfs
root     34896 28232  0 05:53 pts/1    00:00:00 grep nfs

 #日志存放在/var/log/gluster/下

#测试工具
测试网络


[root@43-247-208-225 ~]# iperf -s

[  8] local 43.247.208.225 port 5001 connected with 43.247.208.229 port 29782
[  4] local 43.247.208.225 port 5001 connected with 43.247.208.229 port 29783
[  5] local 43.247.208.225 port 5001 connected with 43.247.208.229 port 29785
[  6] local 43.247.208.225 port 5001 connected with 43.247.208.229 port 29784
[  8]  0.0-10.0 sec  3.90 GBytes  3.35 Gbits/sec
[  5]  0.0-10.0 sec  1.40 GBytes  1.20 Gbits/sec
[  4]  0.0-10.0 sec  1.62 GBytes  1.39 Gbits/sec
[  6]  0.0-11.0 sec  2.36 GBytes  1.84 Gbits/sec
[SUM]  0.0-11.0 sec  9.28 GBytes  7.24 Gbits/sec

[root@43-247-208-229 ~]# iperf -c 43.247.208.225 -P4

Client connecting to 43.247.208.225, TCP port 5001
TCP window size:  127 KByte (default)
------------------------------------------------------------
[  5] local 43.247.208.229 port 29784 connected with 43.247.208.225 port 5001
[  4] local 43.247.208.229 port 29783 connected with 43.247.208.225 port 5001
[  6] local 43.247.208.229 port 29785 connected with 43.247.208.225 port 5001
[  3] local 43.247.208.229 port 29782 connected with 43.247.208.225 port 5001
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0- 9.0 sec  3.90 GBytes  3.72 Gbits/sec
[  4]  0.0- 9.0 sec  1.62 GBytes  1.55 Gbits/sec
[  6]  0.0- 9.0 sec  1.40 GBytes  1.33 Gbits/sec
[  5]  0.0-10.0 sec  2.36 GBytes  2.03 Gbits/sec
[SUM]  0.0-10.0 sec  9.28 GBytes  7.97 Gbits/sec

 #复制卷故障数据不一样

故障现象：双副本卷数据出现不一致
故障模拟：删除其中一个brick数据
[root@glusterfs1 mnt]# rm -rf  /brick1/b1/dd.dat




修复方法 触发自修复：遍历并访问文件
find /mnt -type f -print0 | xargs -0 head -c1
cat 一下文件 然后发现删除的回来了
[root@glusterfs1 mnt]# ls /brick1/b1/
abc

恢复节点配置信息
故障现象：其中一个节点配置信息不正确
故障模拟



配置信息位置：/var/lib/glusterd/ 
修复方法 触发自修复：通过Gluster工具同步配置信息
Gluster volume sync server1 all



#操作过程



删除server2部分配置信息
[root@glusterfs2 brick1]# rm -rf /brick1/b2/

#查看1的扩展属性
[root@glusterfs1 brick1]# getfattr -d -m . -e hex b1/
# file: b1/
trusted.afr.meizi-client-0=0x000000000000000000000000
trusted.afr.meizi-client-1=0x000000000000000000000000
trusted.gfid=0x00000000000000000000000000000001
trusted.glusterfs.dht=0x000000010000000000000000ffffffff
trusted.glusterfs.volume-id=0xd6cc96959c7d47479e30755e89b1047b

#去2节点创建这个b2目录 
[root@glusterfs2 brick1]# mkdir b2
#查看扩展属性是空的
[root@glusterfs2 brick1]# getfattr -d -m . -e hex b2





恢复复制卷brick
故障现象：双副本卷中一个brick损坏
恢复流程
1、重新建立故障brick目录
setfattr -n trusted.gfid -v 0x00000000000000000000000000000001 b2 
setfattr -n trusted.glusterfs.dht -v 0x000000010000000000000000ffffffff b2
setfattr -n trusted.glusterfs.volume-id -v 0xd6cc96959c7d47479e30755e89b1047b b2
-v 的参数设置成你的值
2、设置扩展属性(参考另一个复制brick) 
3、重启glusterd服务
4、触发数据自修复
find /mnt -type f -print0 | xargs -0 head -c1 >/dev/nul

常见故障处理(1)
Q1：Gluster需要占用哪些端口？
Gluster管理服务使用24007端口，Infiniband管理使用24008端口，每个
brick进程占用一个端口。比如4个brick，使用24009-24012端口。
Gluster内置NFS服务使用34865-34867端口。此外，portmapper使用111
端口，同时打开TCP和UDP端口。
Q2：创建Gluster资源池出问题？
首先，检查nslookup是否可以正确解析DNS和IP。其次，确认没有使用
/etc/hosts直接定义主机名。虽然理论上没有问题，但集群规模一大很多
管理员就会犯低级错误，浪费大量时间。再者，验证Gluster服务所需的
24007端口是否可以连接(比如telnet)？Gluster其他命令是否可以成功执
行？如果不能，Gluster服务很有可能没有启动。
Q3：如何检查Gluster服务是否运行？
可以使用如下命令检查Gluster服务状态：
(1) service glusterd status
(2) systemctl status glusterd.service
(3) /etc/init.d/glusterd status


常见故障处理(2)
Q4：无法在server端挂载(mount)Gluster卷？
检查gluster卷信息，使用gluster volume info确认volume处于启动状态。
运行命令“showmount -e <gluster node>“，确认可以输出volume相关
信息。
Q5：无法在client端挂载(mount)Gluster卷？
检查网络连接是否正常，确认glusterd服务在所有节点上正常运行，确认
所挂载volume处于启动状态。
 Q6：升级Gluster后，客户端无法连接？
如果使用原生客户端访问，确认Gluster客户端和服务端软件版本一致。
通常情况下，客户端需要重新挂载卷。
Q7： 运行“gluster peer probe“，不同节点输出结果可能不一致？
这个通常不是问题。每个节点输出显示其他节点信息，并不包括当前节
点；不管在何处运行命令，节点的UUID在所有节点上都是相同和唯一的；
输出状态通常显示“Peer in Cluster (Connected)“，这个值应该和
/var/lib/glusterd/glusterd.info匹配。



常见故障处理(3)
Q8：数据传输过程中意外杀掉gluster服务进程？
所有数据都不会丢失。Glusterd进程仅用于集群管理，比如集群节点扩
展、创建新卷和修改旧卷，以及卷的启停和客户端mount时信息获取。杀
掉gluster服务进程，仅仅是一些集群管理操作无法进行，并不会造成数
据丢失或不可访问。
Q9：意外卸载gluster？
如果Gluster配置信息没有删除，重新安装相同版本gluster软件，然后重
启服务即可。Gluster配置信息被删除，但数据仍保留的话，可以通过创
建新卷，正确迁移数据，可以恢复gluster卷和数据。友情提示：配置信
息要同步备份，执行删除、卸载等操作一定要谨慎。
Q10：无法通过NFS挂载卷？
这里使用Gluster内置NFS服务，确认系统内核NFS服务没有运行。再者，
确认rpcbind或portmap服务处于正常运行中。内置NFS服务目前不支持
NFS v4，对于新Linux发行版默认使用v4进行连接，mount时指定选项
vers=3。
mount -t nfs -o vers=3 server2:/myglustervolume /gluster/mount/point




常见故障处理(4)
Q11：双节点复制卷，一个节点发生故障并完成修复，数据如何同步？
复制卷会自动进行数据同步和修复，这个在同步访问数据时触发，也可
以手动触发。3.3以后版本，系统会启动一个服务自动进行自修复，无需
人工干预，及时保持数据副本同步。
 Q12：Gluster日志在系统什么位置？
新旧版本日志都位于/var/log/glusterfs
Q13：如何轮转(rotate)Gluster日志？
使用gluster命令操作：gluster volume log rotate myglustervolume
Q14:Gluster配置文件在系统什么位置？
3.3以上版本位于/var/lib/glusterd，老版本位于/etc/glusterd/。  Q15：数据库运行在gluster卷上出现很多奇怪的错误和不一致性？
Gluster目前不支持类似数据库的结构化数据存储，尤其是大量事务处理
和并发连接。建议不要使用Gluster运行数据库系统，但Gluster作为数据
库备份是一个很不错的选择


常见故障处理(5)
Q16：Gluster系统异常，重启服务后问题依旧。
很有可能是某些服务进程处于僵死状态，使用ps -ax | grep glu命令查
看。如果发出shutdown命令后，一些进程仍然处于运行状态，使用
killall -9 gluster{,d,fs,fsd}杀掉进程，或者硬重启系统。
Q17：需要在每个节点都运行Gluster命令吗？
这个根据命令而定。一些命令只需要在Gluster集群中任意一个节点执
行一次即可，比如“gluster volume create”，而例如“gluster peer 
status ”命令可以在每个节点独立多次执行。
Q18：如何快速检查所有节点状态？
Gluster工具可以指定选项 --remote-host在远程节点上执行命令，比如
gluster --remote-host=server2 peer status。如果配置了CTDB，可以
使用“onnode”在指定节点上执行命令。另外，还可以通过sshkeygen和ssh-copy-id配置SSH无密码远程登录和执行命令




常见故障处理(6)
Q19：Gluster导致网络、内核、文件系统等出现问题？
可能。但是，绝大多数情况下，Gluster或者软件都不会导致网络或存
储等基础资源出现问题。如果发现由Gluster引起的问题，可以提交
Bug和patch，并可以社区和邮件列表中讨论，以帮助改善Gluster系统。
Q20：为什么会发生传输端点(transport endpoint)没有连接？
在Gluster日志中看到这种错误消息很正常，表明Gluster由于一些原因
无法通信。通常情况下，这是由于集群中某些存储或网络资源饱和引
起的，如果这类错误消息大量重复报告，就需要解决问题。使用相关
技术手段可以解决大部分的问题，另外有些情况可能由以下原因引起。
(1)需要升级RAID/NIC驱动或fireware；
(2)第三方备份系统在相同时间运行；
(3)周期更新locate数据库包含了brick和网络文件系统；
(4)过多rsync作业工作在gluster brick或mount点。

 #生产调优

系统关键考虑
性能需求
Read/Write
吞吐量/IOPS/可用性
Workload
什么应用？
大文件？
小文件？
除了吞吐量之外的需求？




系统规模和架构
性能理论上由硬件配置决定
CPU/Mem/Disk/Network
系统规模由性能和容量需求决定
2U/4U存储服务器和JBOD适合构建Brick
三种典型应用部署
容量需求应用
2U/4U存储服务器+多个JBOD
CPU/RAM/Network要求低
性能和容量混合需求应用
2U/4U存储服务器+少数JBOD
高CPU/RAM，低Network
性能需求应用
1U/2U存储服务器(无JBOD)
高CPU/RAM，快DISK/Network

系统配置
根据Workload选择适当的Volume类型
Volume类型
DHT – 高性能，无冗余
AFR – 高可用，读性能高
STP – 高并发读，写性能低，无冗余
协议/性能
Native – 性能最优
NFS – 特定应用下可获得最优性能
CIFS – 仅Windows平台使用
数据流
不同访问协议的数据流差异

系统硬件配置
节点和集群配置
多CPU－支持更多的并发线程
多MEM－支持更大的Cache
多网络端口－支持更高的吞吐量
专用后端网络用于集群内部通信
NFS/CIFS协议访问需要专用后端网络
推荐至少10GbE
Native协议用于内部节点通信



性能相关经验
GlusterFS性能很大程度上依赖硬件
充分理解应用基础上进行硬件配置
缺省参数主要用于通用目的
GlusterFS存在若干性能调优参数
性能问题应当优先排除磁盘和网络故障

Brick推荐配置

12块磁盘/RAID6 LUN，1 LUN/brcik
RAID条带大小：256KB
Readahead：64MB 
/sys/block/sdb/queue/read_ahead_kb
/sys/block/sda/queue/max_sectors_kb
LVM/XFS需要RAID对齐
pvcreate –dataalignment 2560K
mkfs.xfs –i size=512 –n size=8192 –d su=256k,sw=10 
I/O scheduler：deadline
/sys/block/sda/queue/scheduler
Mount options：inode64

系统调优

关键调优参数
Performance.write-behind-window-size 65535 (字节)
Performance.cache-refresh-timeout 1 (秒)
Performance.cache-size 1073741824 (字节) 
Performance.read-ahead off (仅1GbE)
Performance.io-thread-count 24 (CPU核数)
Performance.client-io-threads on (客户端) 
performance.write-behind on
performance.flush-behind on
cluster.stripe-block-size 4MB (缺省128KB)
Nfs.disable off (缺省打开)  缺省参数设置适用于混合workloads
不同应用调优
理解硬件/固件配置及对性能的影响
如CPU频率

KVM优化
使用QEMU-GlusterFS(libgfapi)整合方案
gluster volume set <volume> group virt
tuned-adm profile rhs-virtualization
KVM host: tuned-adm profile virtual-host
Images和应用数据使用不同的volume
每个gluster节点不超过2个KVM Host (16 guest/host)
提高响应时间
减少/sys/block/vda/queue/nr_request
Server/Guest：128/8 (缺省企值256/128)
提高读带宽
提高/sys/block/vda/queue/read_ahead_kb
VM readahead：4096 (缺省值128)

1 为Glusterfs扩容

gluster volume remove-brick gv0 replica 2 10.240.37.112:/data/brick/gfs1/ force     在复制卷中有3个节点 删除1个节点命令

gluster volume info 查看已创建挂载卷

gluster volume start gv0    启动挂载卷

gluster volume stop gv0   #删除前，先停止挂载卷
gluster volume delete gv0   删除

扩展卷
可以在线扩展卷的容量，可以加一个brick到分布卷，来增加分布卷的容量。同样可以增加一组brick到分布式复制卷，来增加卷的容量
要扩大副本数为2分布式复制卷，您需要增加2的倍数加brick（如4，6，8，等）。
1、添加服务器到集群
# gluster peer probe 10.240.37.112
Probe successful
2、添加新的brick到test-volume卷
# gluster volume add-brick gv0   10.240.37.112:/data/brick/gfs1
Add Brick successful
3、检查卷信息
# gluster volume info

[root@glusterfs1 vols]# gluster volume set meizi auth.allow 192.168.^C109
[root@glusterfs1 vols]# gluster volume set meizi auth.reject 192.168.1.104