Inotify

实时复制说明

1.实时复制软件会监控磁盘文件系统的变化，比如指定的/data目录，实时复制软件进程会实时监控这个/data

目录中对应文件系统数据的变化。

2. 一旦/data目录文件发生变法，就会执行rsync命令，将变化的数据推送到备份服务器对应的备份目录中。　

实时复制软件介绍

企业常用实时复制软件有如下两款

软件	依赖程序	部署难点	说明
Inotify-tools	Rsync守护进程	复制脚本	监控目录数据变化
Sersync*	Rsync守护进程	配置文件	监控目录数据变化

Inotify机制

Inotify是一种异步的系统事件监控机制，通过Inotify可以监控文件系统中添加，删除，修改等事件，利用这个

内核接口，第三方软件可以监控文件系统下的情况变化。

那么Inotify-tools就是该类技术的实现，是一个监控指定目录数据实时变化的软件。

实现了Inotify的软件还有Sersync，Inotify-tools

【Inotify机制的优点】、

　　1. 监控文件系统的事件变化，通过复制工具实现实时数据复制

　　2. 支持多线程实时复制

【Inotify的缺点】

　　1. 实测当文件数量大于200（10-100kb），复制存在延迟

Inotify+Rsync实施复制实战

无论是Inotify-tools还是Sersync，本身的核心功能都是监控指定目录内的数据变化，具体的复制当远程

服务器的功能还是借助Rsync工具配合，Inotify机制软件工作流程如下。

　　1. 备份源客户端开机运行Inotify软件，检测指定目录的文件系统变化。

　　2. 一旦获取到指定监控目录的数据发生变化，即刻执行Rsync命令复制数据。

　　3. 将变化的数据发送到Rsync服务端的备份目录。

项目部署实施

【1.确保远程数据传输服务部署完成】

前提配置好Rsync Daemon模式

也就是可以在客户端机器，推送、拉取数据到BACKUP服务器，才能配置Inofity-tools

将rsync守护进程模式部署完毕
rsync服务端部署
a 检查rsync软件是否已经安装
b 编写rsync软件主配置文件
c 创建备份目录管理用户
d 创建备份目录，并进行授权
e 创建认证文件，编写认证用户和密码信息，设置文件权限为600
f 启动rsync守护进程服务

　　　

【在NFS01机器配置】

rsync客户端部署
a 检查rsync软件是否已经安装    
b 创建认证文件，编写认证用户密码信息即可，设置文件权限为600
c 利用客户端进行数据同步测试

当前也就是rsync客户端机器，配置如下部署
1.设置密码环境变量，方便的使用rsync命令
[root@nfs01 ~]# echo "export RSYNC_PASSWORD=chaoge"  >> /etc/bashrc

2.加载配置文件
source /etc/bashrc

3.检查环境变量
[root@nfs01 ~]# echo $RSYNC_PASSWORD
chaoge

4.作为Rsync客户端，测试推送和拉取数据是否正常
#推送本地数据给Rsync服务端
[root@nfs01 ~]# rsync -avz /data/ rsync_backup@192.168.178.110::backup

5.拉取服务端资料
[root@nfs01 ~]# rsync -avz rsync_backup@192.168.178.110::backup  /tmp

　　

【检查Linux版本是否支持Inotify机制】

只有Linux内核版本在2.6.13起才支持，以及是否存在三个系统文件，存在则支持

1.检查linux内核版本
[root@nfs01 ~]# uname -r
3.10.0-1062.9.1.el7.x86_64

2.检查Inotify相关文件
[root@nfs01 ~]# ls -l /proc/sys/fs/inotify/
总用量 0


[root@nfs01 ~]# cd /proc/sys/fs/inotify/
[root@nfs01 inotify]# ll
总用量 0
-rw-r--r-- 1 root root 0 2018-02-25 19:45 max_queued_events    
-rw-r--r-- 1 root root 0 2018-02-25 19:45 max_user_instances
-rw-r--r-- 1 root root 0 2018-02-25 19:45 max_user_watches
max_user_watches:    设置inotifywait或inotifywatch命令可以监视的文件数量（单进程）
默认只能监控8192个文件

max_user_instances:    设置每个用户可以运行的inotifywait或inotifywatch命令的进程数
默认每个用户可以开启inotify服务128个进程

max_queued_events:    设置inotify实例事件（event）队列可容纳的事件数量
默认监控事件队列长度为16384

　　

【Inotify-tools工具安装】

1.yum安装，需配置epel源
[root@nfs01 ~]# yum install inotify-tools -y

2.检查软件
[root@nfs01 ~]# rpm -ql inotify-tools|head -2
/usr/bin/inotifywait        # 重要软件命令
/usr/bin/inotifywatch        # 重用软件命令

　　

 【Inotify命令工具】

上述操作我们安装好了Inotify-tools软件，生成2个重要的命令

　　1. inotifywait：在被监控的目录等待特定文件系统事件（open，close，delete等事件），执行后处于

　　　　　　　　  阻塞状态，适合在shell脚本中使用，是实现监控的关键。

　　2. inotifywatch：收集被监控的文件系统使用的统计数据（文件系统事件发生的次数统计）

【inotifywait命令解释】

inotifywait用于等待文件或文件集上的一个待定事件，可以监控任何文件和目录设置，并且可以递归地监控整个目录树；

inotifywatch用于收集被监控的文件系统计数据，包括每个inotify事件发生多少次等信息

从上面可知inotifywait是一个监控事件，可以配合shell脚本使用它。与它相关的参数：

语法格式：inotifywait [-hcmrq][-e][-t][–format][-timefmt][…]

-m： 即“–monitor” 表示始终保持事件监听状态。

-d：类似于-m参数，将命令运行在后台，记录出发的事件信息，记录在指定文件里，加上--outfile参数

-r： 即“–recursive” 表示递归查询目录

-q： 即“–quiet” 表示打印出监控事件

-o： 即“–outfile” 输出事情到一个文件而不是标准输出

-s: 即“–syslog” 输入错误信息到系统日志

-e： 即“–event”， 通过此参数可以指定要监控的事件，常见的事件有modify、delete、create、close_write、move、close、unmount和attrib等

-format： 指定输出格式；常用的格式符如：

%w：表示发生事件的目录

%f：表示发生事件的文件

%e：表示发生的事件

%Xe:事件以“X”分隔

%T：使用由-timefmt定义的时间格式

-timefmt：指定时间格式，用于-format选项中的%T格式

　　利用 inotify 软件监控的事件主要是如下

Events    含义
access    文件或目录被读取
modify    文件或目录内容被修改
attrib    文件或目录属性被改变
close    文件或目录封闭，无论读/写模式
open    文件或目录被打开
moved_to    文件或目录被移动至另外一个目录
move    文件或目录被移动到另一个目录或从另一个目录移动至当前目录
create    文件或目录被创建在当前目录
delete    文件或目录被删除
umount    文件系统被卸载

　　Inotify 可监控的事件

可监控的事件
有几种事件能够被监控。一些事件，比如 IN_DELETE_SELF 只适用于正在被监控的项目，而另一些，比如 IN_ATTRIB 或者 IN_OPEN 则只适用于监控过的项目，或者如果该项目是目录，则可以应用到其所包含的目录或文件。

IN_ACCESS
被监控项目或者被监控目录中的条目被访问过。例如，一个打开的文件被读取。
IN_MODIFY
被监控项目或者被监控目录中的条目被修改过。例如，一个打开的文件被修改。
IN_ATTRIB
被监控项目或者被监控目录中条目的元数据被修改过。例如，时间戳或者许可被修改。
IN_CLOSE_WRITE
一个打开的，等待写入的文件或目录被关闭。
IN_CLOSE_NOWRITE
一个以只读方式打开的文件或目录被关闭。
IN_CLOSE
一个掩码，可以很便捷地对前面提到的两个关闭事件（IN_CLOSE_WRITE | IN_CLOSE_NOWRITE）进行逻辑操作。
IN_OPEN
文件或目录被打开。
IN_MOVED_FROM
被监控项目或者被监控目录中的条目被移出监控区域。该事件还包含一个 cookie 来实现 IN_MOVED_FROM 与 IN_MOVED_TO 的关联。
IN_MOVED_TO
文件或目录被移入监控区域。该事件包含一个针对 IN_MOVED_FROM 的 cookie。如果文件或目录只是被重命名，将能看到这两个事件，如果它只是被移入或移出非监控区域，将只能看到一个事件。如果移动或重命名一个被监控项目，监控将继续进行。参见下面的 IN_MOVE-SELF。
IN_MOVE
可以很便捷地对前面提到的两个移动事件（IN_MOVED_FROM | IN_MOVED_TO）进行逻辑操作的掩码。
IN_CREATE
在被监控目录中创建了子目录或文件。
IN_DELETE
被监控目录中有子目录或文件被删除。
IN_DELETE_SELF
被监控项目本身被删除。监控终止，并且将收到一个 IN_IGNORED 事件。
IN_MOVE_SELF
监控项目本身被移动。

　　测试create事件

# 语法
inotifywait -mrq --timefmt "%F" --format "%T %w%f 事件信息：%e" /data  <-- 相对完整的命令应用

# 指定事件监控
inotifywait -mrq --timefmt "%F" --format "%T %w%f 事件信息：%e" -e create /data  

# 实际案例，监控/data目录的创建
[root@nfs01 ~]# inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T%w%f' -e create /data
# 参数解释
-m： 即“–monitor” 表示始终保持事件监听状态。
-r： 即“–recursive” 表示递归查询目录
-q： 即“–quiet” 表示打印出监控事件
--timefmt：指定时间格式
%m 　月份(以01-12来表示)。
%d 　日期(以01-31来表示)。
 %y 　年份(以00-99来表示)。

%w：表示发生事件的目录
%f：表示发生事件的文件
%T：使用由-timefmt定义的时间格式
%e：表示发生的事件

#日志检测
16/03/20 09:26/data/超哥带你学inotify.txt
16/03/20 09:26/data/嗨起来
16/03/20 09:27/data/今天是个好日子.txt

-e： 即“–event”， 通过此参数可以指定要监控的事件，常见的事件有modify、delete、create、close_write、move、close、unmount和attrib等

　　

 

 

 　　测试delete事件

1.在NFS01客户端机器上检测inotify功能，检测delete事件，只有在该目录下的删除动作，才会触发监控
[root@nfs01 ~]# inotifywait -mrq --format '%w%f' -e delete /data

2.再开一个终端，进行删除动作
[root@nfs01 data]# rm -rf 爱的魔力转圈圈.txt

　　close_write事件

检测不同的时间，其实就是-e参数指定的不同，其实很简单
[root@nfs01 ~]# inotifywait -mrq --format '%w%f' -e close_write /data

　　

Inotify增删改事件

重要事件	包含事件	说明
close	close_write，close_nowrite	文件或目录关闭，不管是读还是写都包含关闭操作
close_write	create	含创建文件事件，不含创建目录事件，自身有修改事件
move	moved_to,moved_from	文件或目录无论是移动，移除监控目录，都被监控

扩展：sed命令触发器

在NFS01上开启Inotify监控功能

1.监控所有事件，且格式化输出
[root@nfs01 ~]# inotifywait -mrq /data --format "%w%f 事件：%e"

　　

利用sed修改文件内容

# 替换chaoge.txt的内容，且进行备份，旧内容在chaoge.txt.bak  ，替换后内容在chaoge.txt
[root@nfs01 data]# sed -i.bak  's/默认监控所有事件/超哥带你学inotify事件/g' /data/chaoge.txt

# sed修改文件事件如下
1. 创建临时文件
2. 把源文件内容放入临时文件中
3. 修改临时文件内容
4. 对源文件进行备份 -i.bak ---- chaoge.txt.bak
5. 对临时文件重命名为chaoge.txt

　　

Inotify-tools软件部署实战

手工配置inotify的监控事件，增删改查

# 检测目录的增删改事件
[root@nfs01 ~]# inotifywait -mrq --timefmt "%y-%m-%d %T"   --format "%T  %w%f 当前事件有：%e" -e close_write,delete  /data/

　　

再开一个终端，修改数据

[root@nfs01 data]# touch /data/超哥带你学inotify.txt
[root@nfs01 data]# echo "超哥带你飞" >> /data/超哥带你学inotify.txt.bak
[root@nfs01 data]#
[root@nfs01 data]# rm -rf /data/*

#Inotify能够检测到如下信息
/data/超哥带你学inotify.txt
/data/超哥带你学inotify.txt.bak
/data/chaoge.txt
/data/chaoge.txt.bak
/data/超哥带你学inotify.txt.bak
/data/嗨起来

　　

编写实时监控和复制脚本

1.生成一个数字1，2，3的文件
seq 3 > /tmp/chaoge.txt

2.编写一个脚本，能够循环读取文件内容
[root@nfs01 tmp]# cat test.sh
cat ./chaoge.txt | 
while read line
do
  echo $line
done

3.检查文件
[root@nfs01 tmp]# ls
chaoge.txt  test.sh

4.执行该脚本，-x参数执行脚本，输出执行过程，调试利器，也可以不加
[root@nfs01 tmp]# sh -x test.sh
+ read line                    #按行读取
+ cat ./chaoge.txt  #读取文件
+ echo 1    #输出1
1
+ read line                #按行读取
+ echo 2                    #输出2
2
+ read line
+ echo 3
3
+ read line

　　【操作实时同步的脚本】

1.创建统一管理脚本的文件夹
[root@nfs01 tmp]# mkdir -p /MyInotify/scripts

2.创建针对事件变化完整复制的脚本 monitor.sh
[root@nfs01 scripts]# cat monitor.sh
#!/bin/bash
cmd="/usr/bin/inotifywait"
$cmd -mrq --timefmt "%y-%m-%d %T"   --format "%T  %w%f 当前事件有：%e"  -e close_write,delete /data | 
while read line
do
        cd /data && 
        rsync -az --delete ./ rsync_backup@192.168.178.139::backup
done


--------------------------------------------------------------------------------------------

　　【在nfs01机器上执行脚本】

[root@nfs01 scripts]# sh -x  monitor.sh

　　

测试脚本没问题后，可以将脚本运行在后台，实时监听文件变化，进行同步，保证数据备份安全
1.脚本放置后台运行，在前台运行会占用终端，且终端关了，任务会断
[root@nfs01 scripts]# /bin/sh /MyInotify/scripts/monitor.sh &>/dev/null &
[1] 3004
[root@nfs01 scripts]# jobs
[1]+  运行中               /bin/sh /MyInotify/scripts/monitor.sh &>/dev/null &
[root@nfs01 scripts]#

2.该任务添加至开机启动文件
[root@nfs01 scripts]# tail -2 /etc/rc.local
# inotify + rsync  script by chaoge
/bin/sh /MyInotify/scripts/monitor.sh &>/dev/null &

　　

Inotify优化参数

有关inotify的内核参数文件，可以针对企业需求进行优化，修改如下
[root@nfs01 scripts]# cat /proc/sys/fs/inotify/max_*
16384
128
8192

[root@nfs01 scripts]# echo "50000000" > /proc/sys/fs/inotify/max_user_watches
[root@nfs01 scripts]# echo "50000000" > /proc/sys/fs/inotify/max_queued_events