NFS配置及远程挂载
NFS简介
NFS是Network File System的简写，即网络文件系统。NFS最早是由 Sun Microsystems 公司开发，并于1984年推出。NFS 是一种可分散式的网络文件系统，可以通过网络（一个局域网）使不同的机器、不同的操作系统，能够共享目录和文件，使客户端能通过网络访问并分享文件到位于服务端的磁盘中。NFS的客户端（一般为应用服务器，例如web）可以通过挂载（mount）的方式将NFS服务器共享的数据目录挂载到NFS客户端本地系统中（就是某一个关在点下），从客户端本地看，NFS服务器端共享目录就好像是客户端自己的磁盘分区或者目录一样，而实际上却是远端的NFS服务器的目录。
NFS网络文件系统很像Windows系统的网络共享、安全功能、网络驱动器映射，这也和linux的samba服务类似，只不过一般情况下，Windows网络共享服务或samba服务用户办公局域网共享，而互联网中小型网站集群架构后端常用NFS进行数据共享，若是大型网站，那么有可能还会用到更复杂的分布式文件系统Moosefs（mfs）、GlusterFS。NFS在文件传送或信息传送过程中依赖于RPC协议。RPC负责负责信息的传输。
一、环境和需求
环境：CentOS 7.5 ，安装过程中software selection选择Minimal install；
软件版本：nfs-utils-1.3.0-0.54.el7.x86_64
共三台主机，每台主机各挂接有一个4TB数据盘，挂载点在/data1；
主机名：HOST1，IP：192.168.1.11
主机名：HOST2，IP：192.168.1.12
主机名：HOST3，IP：192.168.1.13
需求：解决多台服务器之间数据盘的内容相互共享
二、服务器校准时间
1、登陆到服务器后，用命令查看当前时区：
date -R
命令执行结果如下：
Fri, 02 Mar 2019 14:19:41 +0800
如果显示是+0800，就是北京时间；
2、更改时区的办法。如果不是北京时间，则用以下方法修改为北京时区：（如果不是root用户，则加上sudo）
先把时区文件备份，命令执行如下：
mv /etc/localtime /etc/localtime.old
将正确的时区文件链接过来：
ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
再用命令查看当前时区：
date -R
3 、如果ntp服务并未安装，则先安装后再执行上述命令：
yum install -y ntp
4、开启ntp同步命令：
systemctl enable ntpd
systemctl start ntpd
5、允许同步硬件时间：
在/etc/sysconfig/ntpd最后一行加
SYNC_HWCLOCK=yes
三、服务器的NFS服务端配置
1、检查nfs软件是否安装
sudo rpm -qa | grep nfs-utils
sudo rpm -qa | grep rpcbind
安装nfs组件，已安装的跳过；服务端和客户端需要的环境一样
sudo yum -y install nfs-utils
sudo yum -y install rpcbind
2、根据需要修改NFS的配置文件 /etc/exports （默认是空文件），此处要注意三台服务器开放的ip限制有区别，除了exports文件外，其他配置完全一样；
sudo vi /etc/exports
#主机HOST1增加以下一行内容
/data1 192.168.1.12(rw,sync) 192.168.1.13(rw,sync)
sudo vi /etc/exports
#主机HOST2增加以下一行内容
/data1 192.168.1.11(rw,sync) 192.168.1.13(rw,sync)
#主机HOST3增加以下一行内容
/data1 192.168.1.11(rw,sync) 192.168.1.12(rw,sync)
3、配置端口
默认设置中 nfs 端口是2049，portmapper 的端口是111，mountd 端口是20048，status 和 nlockmgr 是随机端口。如需进行防火墙开放端口的设置，修改如下，否则跳过：
修改 /etc/sysconfig/nfs 文件
sudo vi /etc/sysconfig/nfs
#增加端口配置如下一行，对应 rpc.statd 服务，显示status
STATD_PORT=2050
因 nfslock 服务会自动开启 rpc.statd，无需做设置；在rpcinfo -p 映射中，rpc.statd 对应 status ，后续再次修改端口后重启服务使配置生效的
sudo systemctl restart nfs-lock
修改 /etc/modprobe.d/lockd.conf 文件。Network Lock Manager (NLM)，对应是 nlockmgr
sudo vi /etc/modprobe.d/lockd.conf
#增加端口配置如下两行
options lockd nlm_tcpport=2051
options lockd nlm_udpport=2051
4、开启NFS服务，设置服务开机自启动，按顺序先 rpcbind 后 nfs
sudo systemctl start rpcbind.service
sudo systemctl start nfs.service
sudo systemctl enable rpcbind.service
sudo systemctl enable nfs.service
或
sudo systemctl start rpcbind nfs-server
sudo systemctl enable rpcbind nfs-server
查看共享是否成功
showmount -e localhost
或用exportfs -arv命令，重新使配置文件生效，并显示生效内容
sudo exportfs -arv
查看服务对应端口的命令
rpcinfo -p
5、防火墙设置
查看防火墙是否在运行
sudo firewall-cmd --state
显示 running 则加上放行规则，否则跳过
sudo firewall-cmd --permanent --add-port=111/tcp
sudo firewall-cmd --permanent --add-port=111/udp
sudo firewall-cmd --permanent --add-port=2049-2051/tcp
sudo firewall-cmd --permanent --add-port=2049-2051/udp
sudo firewall-cmd --permanent --add-port=20048/tcp
sudo firewall-cmd --permanent --add-port=20048/udp
sudo firewall-cmd --reload
待验证
sudo firewall-cmd --add-service=nfs --permanent sudo firewall-cmd --reload
四、服务器的NFS客户端配置
1、创建挂载目录（三台客户端各有不同）
#HOST1的挂载目录
sudo ln -s /data1 /data1_11
sudo mkdir /data1_12
sudo mkdir /data1_13
#HOST2的挂载目录
sudo ln -s /data1 /data1_12
sudo mkdir /data1_11
sudo mkdir /data1_13
#HOST3的挂载目录
sudo ln -s /data1 /data1_13
sudo mkdir /data1_11
sudo mkdir /data1_12
2、客户端远程目录的挂载，将挂载配置写入fstab文件（三台客户端各有不同）
sudo vi /etc/fstab
#HOST1的fstab文件加上
192.168.1.12:/data1 /data1_12 nfs defaults 0 0
192.168.1.13:/data1 /data1_13 nfs defaults 0 0
#HOST2的fstab文件加上
192.168.1.11:/data1 /data1_11 nfs defaults 0 0
192.168.1.13:/data1 /data1_13 nfs defaults 0 0
#HOST3的fstab文件加上
192.168.1.11:/data1 /data1_11 nfs defaults 0 0
192.168.1.12:/data1 /data1_12 nfs defaults 0 0
3、在客户端分别执行，让修改fstab后的挂载生效，
sudo mount -a
至此，NFS配置已经完成，如打开共享目录写入报错 Permission denied ，请根据需求和安全原则修正对应源目录写入的权限（详见下面补充说明）
五、其他补充说明（安装过程或完成后检测用到的命令、知识点）
1、NFS服务需要安装的软件包
nfs-utils：nfs服务的主程序，包括rpc.nfsd、rpc.mountd两个daemons和相关的文档说明及执行命令文件等
rpcbind：rpc主程序，安装 nfs-utils 时会自动按依赖安装上，无需另外安装
在安装完 nfs-utils 后会自动创建 nfsnobody 用户
[root@localhost ~]# id nfsnobody
uid=65534(nfsnobody) gid=65534(nfsnobody) groups=65534(nfsnobody)
2、查NFS服务是否在运行
sudo systemctl status rpcbind
sudo systemctl status nfs
3、查看NFS版本
服务器端使用：nfsstat -s
客户端使用：nfsstat -c
4、查看主机开放的端口
ss命令的使用见：https://www.cnblogs.com/ylnic/p/10065344.html
[wangzhiping@localhost /]$ ss -lutp4
Netid State Recv-Q Send-Q Local Address:Port Peer Address:Port
udp UNCONN 0 0 *:mountd *:*
udp UNCONN 0 0 127.0.0.1:703 *:*
udp UNCONN 0 0 *:856 *:*
udp UNCONN 0 0 *:nfs *:*
udp UNCONN 0 0 *:av-emb-config *:*
udp UNCONN 0 0 *:epnsdp *:*
udp UNCONN 0 0 *:sunrpc *:*
tcp LISTEN 0 64 *:nfs *:*
tcp LISTEN 0 128 *:av-emb-config *:*
tcp LISTEN 0 64 *:epnsdp *:*
tcp LISTEN 0 128 *:sunrpc *:*
tcp LISTEN 0 128 *:mountd *:*
tcp LISTEN 0 128 *:ssh *:*
tcp LISTEN 0 100 127.0.0.1:smtp *:*
[wangzhiping@localhost /]$ ss -lutp4n
Netid State Recv-Q Send-Q Local Address:Port Peer Address:Port
udp UNCONN 0 0 *:20048 *:*
udp UNCONN 0 0 127.0.0.1:703 *:*
udp UNCONN 0 0 *:856 *:*
udp UNCONN 0 0 *:2049 *:*
udp UNCONN 0 0 *:2050 *:*
udp UNCONN 0 0 *:2051 *:*
udp UNCONN 0 0 *:111 *:*
tcp LISTEN 0 64 *:2049 *:*
tcp LISTEN 0 128 *:2050 *:*
tcp LISTEN 0 64 *:2051 *:*
tcp LISTEN 0 128 *:111 *:*
tcp LISTEN 0 128 *:20048 *:*
tcp LISTEN 0 128 *:22 *:*
tcp LISTEN 0 100 127.0.0.1:25 *:*
5、查看 rpc 的端口映射
[nfs_user@localhost /]$ rpcinfo -p
program vers proto port service
100000 4 tcp 111 portmapper
100000 3 tcp 111 portmapper
100000 2 tcp 111 portmapper
100000 4 udp 111 portmapper
100000 3 udp 111 portmapper
100000 2 udp 111 portmapper
100005 1 udp 20048 mountd
100005 1 tcp 20048 mountd
100005 2 udp 20048 mountd
100005 2 tcp 20048 mountd
100005 3 udp 20048 mountd
100005 3 tcp 20048 mountd
100024 1 udp 2050 status
100024 1 tcp 2050 status
100003 3 tcp 2049 nfs
100003 4 tcp 2049 nfs
100227 3 tcp 2049 nfs_acl
100003 3 udp 2049 nfs
100003 4 udp 2049 nfs
100227 3 udp 2049 nfs_acl
100021 1 udp 2051 nlockmgr
100021 3 udp 2051 nlockmgr
100021 4 udp 2051 nlockmgr
100021 1 tcp 2051 nlockmgr
100021 3 tcp 2051 nlockmgr
100021 4 tcp 2051 nlockmgr
6、NFS的常用目录
| 文件目录 | 用途 |
|---|---|
| /etc/exports | NFS服务的主要配置文件，系统并没有默认值，是空文件，如这个文件不存在，需要自己创建 |
| /usr/sbin/exportfs | NFS服务的管理命令 |
| /usr/sbin/showmount | 客户端的查看命令 |
| /var/lib/nfs/etab | 记录NFS分享出来的目录的完整权限设定值，即服务器配置的参数（包含默认的参数） |
| /var/lib/nfs/xtab | 记录曾经登录过的客户端信息 |
NFS的配置文件：
/etc/exports：NFS配置文件
/var/lib/nfs/*tab：NFS服务器日志放置路径；etab记录共享出来的目录完整权限设置值；xtab记录曾经连接到此NFS主机的相关客户端数据
NFS的两个命令：
/usr/sbin/exportfs：维护NFS共享资源；重新共享/etc/exports变更目录或将NFS server共享目录卸载或重新共享
/usr/sbin/showmount：在客户端查看NFS服务器共享出来的目录资源
7、NFS的主要配置文件 /etc/exports 的内容格式
<输出目录> [客户端1 选项（访问权限,用户映射,其他）] [客户端2 选项（访问权限,用户映射,其他）] a. 输出目录： 输出目录是指NFS系统中需要共享给客户机使用的目录； b. 客户端： 客户端是指网络中可以访问这个NFS输出目录的计算机 客户端常用的指定方式 指定ip地址的主机：192.168.0.200 指定子网中的所有主机：192.168.0.0/24 192.168.0.0/255.255.255.0 指定域名的主机：david.bsmart.cn 指定域中的所有主机：*.bsmart.cn 所有主机：* c. 选项： 选项用来设置输出目录的访问权限、用户映射等。 NFS主要有3类选项： 访问权限选项 设置输出目录只读：ro 设置输出目录读写：rw 用户映射选项 all_squash：将远程访问的所有普通用户及所属组都映射为匿名用户或用户组（nfsnobody）； no_all_squash：与all_squash取反（默认设置）； root_squash：将root用户及所属组都映射为匿名用户或用户组（默认设置）； no_root_squash：与rootsquash取反； anonuid=xxx：将远程访问的所有用户都映射为匿名用户，并指定该用户为本地用户（UID=xxx）； anongid=xxx：将远程访问的所有用户组都映射为匿名用户组账户，并指定该匿名用户组账户为本地用户组账户（GID=xxx）； 其它选项 secure：限制客户端只能从小于1024的tcp/ip端口连接nfs服务器（默认设置）； insecure：允许客户端从大于1024的tcp/ip端口连接服务器； sync：将数据同步写入内存缓冲区与磁盘中，效率低，但可以保证数据的一致性； async：将数据先保存在内存缓冲区中，必要时才写入磁盘； wdelay：检查是否有相关的写操作，如果有则将这些写操作一起执行，这样可以提高效率（默认设置）； no_wdelay：若有写操作则立即执行，应与sync配合使用； subtree：若输出目录是一个子目录，则nfs服务器将检查其父目录的权限(默认设置)； no_subtree：即使输出目录是一个子目录，nfs服务器也不检查其父目录的权限，这样可以提高效率；
例如
/ user01(rw) user02(rw,no_root_squash)
表示共享服务器上的根目录(/)只有user01和user02两台主机可以访问，且有读写权限；user01主机用root用户身份访问时，将客户机的root用户映射成服务器上的匿名用户(root_squash,该参数为缺省参数)，相当于在服务器使用nobody用户访问目录；user02主机用root用户身份访问该共享目录时，不映射root用户(no_root_squash)，即相当于在服务器上用root身份访问该目录。在配置文件中，使用了no_root_squash ，所以root用户不受约束，在 user02 机器上到挂载点下，到共享目录下，就可以像在本地磁盘使用root用户一样，是不受限制的（通常情况下，不限制root用户的比较多，要注意安全问题）
/root/share/ 192.168.1.2(rw,insecure,sync,all_squash)
表示共享服务器上的/root/share/目录只有192.168.1.2主机可以访问，且有读写权限；此主机用任何身份访问时，将客户机的用户都映射成服务器上的匿名用户(all_squash),相当于在服务器上用nobody用户访问该目录（若客户机要在该共享目录上保存文件（即写操作），则服务器上的nobody用户对该目录必须有写的权限）
/home/ylw/ *.test.com (rw,insecure,sync,all_squash)
表示共享/home/ylw/目录，*.test.com域中所有的主机都可以访问该目录，且有读写权限
/home/share/ .test.com (ro,sync,all_squash,anonuid=zh3,anongid=wa4)
表示共享目录/home/share/，*.test.com域中的所有主机都可以访问，但只有只读的权限，所有用户都映射成服务器上的uid为zh3、gid为wa4的用户
8、exportfs命令详解
- exportfs命令和nfs-utils这个包一起安装的
- 例子：
- 假设在第一次配置 nfs 的共享目录，之后需要新增、更改某些机器或共享的目录；
- 首先需要更改配置文件，然后重启NFS服务，但如果远程客户端正在使用NFS服务，正在挂载着，如果你需要先停止nfs服务，那远程的客户端就会挂起，就会很大的影响，造成服务异常，进程异常，有很大可能导致系统坏掉
- nfs服务不能随便重启，要重启，就需要先去服务器上，把挂载的目录卸载下来
- 在卸载目录的时候，若是在当前目录下去卸载会提示 umount.nfs4: /mnt: device is busy
- 方法一：退出该目录后，再去卸载
- 方法二：在目录下卸载的时候，加 -l 选项，表示 lazy 懒惰的意思
- 在卸载目录后，在重启nfs服务
- 在卸载目录的时候，若是在当前目录下去卸载会提示 umount.nfs4: /mnt: device is busy
- 若是挂载了很多台机器，那么每台机器都需要去卸载，就会很麻烦，降低了工作效率
- 方法：使用exportfs命令，重新加载下
- 方法：使用exportfs命令，重新加载下
- exportfs命令
- -a 全部挂载或者全部卸载，全部挂载或卸载 /etc/exports中的内容
- -r 重新挂载，重新读取/etc/exports 中的信息 ，并同步更新/etc/exports、/var/lib/nfs/xtab
- -u 卸载某一个目录，和-a一起使用，是卸载所有/etc/exports文件中的目录
- -v 显示共享目录，在export的时候，将详细的信息输出到屏幕上。
例一、在NFS服务端上修改 /etc/exports ，增加某个共享目录后
/share 192.168.10.0/24(rw,sync,root_squash)
用 exportfs 不用重启nfs服务，使改动立刻生效
sudo exportfs -arv
其他例子
exportfs -au #卸载所有共享目录
exportfs -rv #重新共享所有目录并输出详细信息
9、showmount 命令用于查询NFS服务器
Usage: showmount [-adehv] [--all] [--directories] [--exports] [--no-headers] [--help] [--version] [host] -a或--all 以 host:dir 这样的格式来显示客户主机名和挂载点目录。 -d或--directories 仅显示被客户挂载的目录名。 -e或--exports 显示NFS服务器的输出清单。 -h或--help 显示帮助信息。 -v或--version 显示版本信。 --no-headers 禁止输出描述头部信息。 显示NFS客户端信息 # showmount 显示指定NFS服务器连接NFS客户端的信息 # showmount 192.168.1.1 #此ip为nfs服务器的 显示输出目录列表 # showmount -e 显示指定NFS服务器输出目录列表（也称为共享目录列表） # showmount -e 192.168.1.1 显示被挂载的共享目录 # showmount -d 显示客户端信息和共享目录 # showmount -a 显示指定NFS服务器的客户端信息和共享目录 # showmount -a 192.168.1.1
10、关于权限的分析
1. 客户端连接时候，对普通用户的检查 a. 如果明确设定了普通用户被压缩的身份，那么此时客户端用户的身份转换为指定用户； b. 如果NFS server上面有同名用户，那么此时客户端登录账户的身份转换为NFS server上面的同名用户； c. 如果没有明确指定，也没有同名用户，那么此时 用户身份被压缩成nfsnobody； 2. 客户端连接的时候，对root的检查 a. 如果设置no_root_squash，那么此时root用户的身份被压缩为NFS server上面的root； b. 如果设置了all_squash、anonuid、anongid，此时root 身份被压缩为指定用户； c. 如果没有明确指定，此时root用户被压缩为nfsnobody； d. 如果同时指定no_root_squash与all_squash 用户将被压缩为 nfsnobody，如果设置了anonuid、anongid将被压缩到所指定的用户与组；
多个NFS客户端访问服务器的读写文件时必须要有的权限
a、NFS服务器/etc/exports设置需要开放可写入的权限，即服务端的共享权限
b、NFS服务器实际要共享的NFS目录权限具有可写入w的权限，即服务端本地目录的安全权限
c、每台服务器都对应存在和NFS默认配置UID的相同UID的账户nfsnodoby（确保所有所有客户端的访问权限统一，否则每台机器都需要同时建立相同UID用户，并覆盖NFS的默认用户配置）
只有满足上述三个条件，多个NFS客户端才能具有查看、修改、删除其他任意NFS客户端上传文件的权限，这在大规模的集群环境中最为集群共享存储时尤为重要
11、客户端手动挂载
| 挂载命令 | 挂载的格式类型 | NFS服务器提供的共享目录 | NFS客户端的挂载点 |
|---|---|---|---|
| mount | -t nfs | 172.16.1.31:/data | /mnt （该目录必须存在） |
创建挂载点
sudo mkdir /data1_11
挂载NFS，默认情况下只有 root 可以去挂载，普通用户可以执行sudo
sudo mount -t nfs 192.168.1.11:/data1 /data1_11
挂载成功后，可用如下命令查看
sudo df -Th
如需卸载nfs，命令如下
sudo umount /data1_11
或
sudo umount 192.168.1.11:/data1
12、配置挂载 autofs（待测试确认）
# yum -y install autofs # vi /etc/auto.master #添加一行 /- /etc/auto.mount # vi /etc/auto.mount #添加一行 /data1 -fstype=nfs,rw nfs.st.local:/data1_11 #启动服务 # systemctl start autofs # systemctl enable autofs
参考：
Red Hat Enterprise Linux fully supports NFS version 4.2 (NFSv4.2) since the Red Hat Enterprise Linux 7.4 release.Following are the features of NFSv4.2 in Red Hat Enterprise Linux 7.5
https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/7/html/storage_administration_guide/ch-nfs
https://blog.csdn.net/gx_1_11_real/article/details/82622391
http://blog.51cto.com/lzhnb/2086392
https://www.cnblogs.com/st-jun/p/7742560.html
https://blog.csdn.net/wh211212/article/details/52954961