keepalived操做

##一，lvs+keepalived 与HAproxy+keepalived

##二，实验操做：

nfs挂载：

nfs挂载，在后端创建用户，用户名及id与服务器nginx一致，并对导出的目录为该用户放开权限

/home/nfstestdir       192.168.222.0/24(rw,sync,all_squash,anonuid=1000,anongid=1000)

NFS权限参数配置
ro                      只读访问 
rw                      读写访问 
sync                    所有数据在请求时写入共享 
async                   NFS在写入数据前可以相应请求 
secure                  NFS通过1024以下的安全TCP/IP端口发送 
insecure                NFS通过1024以上的端口发送 
wdelay                  如果多个用户要写入NFS目录，则归组写入（默认） 
no_wdelay               如果多个用户要写入NFS目录，则立即写入，当使用async时，无需此设置。 
hide                    在NFS共享目录中不共享其子目录 
no_hide                 共享NFS目录的子目录 
subtree_check           如果共享/usr/bin之类的子目录时，强制NFS检查父目录的权限（默认） 
no_subtree_check        和上面相对，不检查父目录权限 
all_squash              共享文件的UID和GID映射匿名用户anonymous，适合公用目录。 
no_all_squash           保留共享文件的UID和GID（默认） 
root_squash             root用户的所有请求映射成如anonymous用户一样的权限（默认） 
no_root_squas           root用户具有根目录的完全管理访问权限 
anonuid=xxx             指定NFS服务器/etc/passwd文件中匿名用户的UID 
anongid=xxx             指定NFS服务器/etc/passwd文件中匿名用户的GID 

nginx +fpm

配置重点，php-fpm  配置启动用户为nginx  ,这样php可以以相同的用户处理nfs上的文件

配置参考其他博文：https://www.cnblogs.com/g2thend/p/10884579.html

lvs+keepalived  

keepalived  配置2个vip，一个走网站服务，一个走数据库。和图示不同，只是ip 有改动，注意所有ip 为同一局域网下

cat  /etc/keepalived/keepalived.conf
! Configuration File for keepalived

global_defs {
   notification_email {
        2222@qq.com    
   }

   notification_email_from  admin@loaclhost
   smtp_server  127.0.0.1
   smtp_connect_timeout 30
   router_id  test73
   vrrp_skip_check_adv_addr
  # vrrp_strict
   vrrp_garp_interval 0
   vrrp_gna_interval 0
}

vrrp_instance VI_1 {
    state MASTER
    interface eth1
    virtual_router_id 51
    priority   50
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1q2w3e4r
    }
    virtual_ipaddress {
    #    192.168.36.179
    192.168.36.179   dev eth1  label eth1:0
    192.168.36.180   dev eth1  label eth1:1
    }
}

virtual_server 192.168.36.180 3306  {     
    delay_loop   5                       
    lb_algo rr                          #调度算法 
    lb_kind  DR                         #集群类型NAT|DR|TUN
    nat_mask 255.255.255.0              #子网掩码，可选项。
    #persistence_timeout 50                
    protocol TCP                        #|UDP|SCTP 
   #sorry_server <IPADDR> <PORT>         

    real_server  192.168.36.76  3306  {   #RS地址和端口
        weight  1                        
         TCP_CHECK {
          connect_port  3306
          connect_timeout  3
          nb_get_retry 2
          delay_before_retry 1
            }  
        }             
  }



virtual_server   192.168.36.179  80  {     
    delay_loop   5                       
    lb_algo rr                          #调度算法 
    lb_kind  DR                         #集群类型NAT|DR|TUN
    nat_mask 255.255.255.0              #子网掩码，可选项。
    #persistence_timeout 50                
    protocol TCP                        #|UDP|SCTP 
   #sorry_server <IPADDR> <PORT>         

    real_server  192.168.36.74 80  {   #RS地址和端口
        weight  1                        
        HTTP_GET {               
          url {
              path  /index.html                     
              status_code 200          
              }                          
            connect_timeout 3            
            nb_get_retry 3              
            delay_before_retry 3        
         #  connect_ip <IP ADDRESS>      
         #  connect_port <PORT>          
         #  bindto <IP ADDRESS>         
         #  bind_port <PORT>            
        }
             
    }
     
    
    real_server  192.168.36.75 80  {   #RS地址和端口
        weight  1                        
        HTTP_GET {
          url {
              path  /index.html
              status_code 200  
              }                
            connect_timeout 3  
            nb_get_retry 3     
            delay_before_retry 3
         #  connect_ip <IP ADDRESS>
         #  connect_port <PORT>    
         #  bindto <IP ADDRESS>    
         #  bind_port <PORT>       
        }

    }
}

　　

###2，haproxy +keepalived

此时keepalived只是作为单点故障恢复，不做lvs负载均衡，所以不用配置vrrp_instance.

haproxy配置

cat  /etc/haproxy/haproxy.cfg 
global
  maxconn  100000    
  chroot /usr/local/haproxy
  stats socket /var/lib/haproxy/haproxy.sock1 mode 600 level admin  process 1
  stats socket /var/lib/haproxy/haproxy.sock2 mode 600 level admin  process 2
  #仅限本机，根据传送的信号关闭进程等
  uid 1990                #nobody   /sbin/nologin
  gid 1990                #useradd   -s  /sbin/nologin   haproxy   更换uid pid 
  daemon
  nbproc 2               #启动进程数，与cpu保持一致
  #nbthread  2            #指定每个haproxy进程开启的线程数，默认为每个进程一个线程  使用版本>v1.8  
  #看线程  pstree
  #ulimit-n 65535         #设置每进程所能够打开的最大文件描述符数目  
  #cpu-map 1 0            #第一个进程绑定到0核心上
  #cpu-map 2 1
  #cpu-map 3 2
  #cpu-map 4 3
  pidfile    /run/haproxy.pid
  spread-checks  2          #后端server状态check，随机提前或延迟百分比时间，建议2-5(20%-50%)之间，默认0不延迟
  log 127.0.0.1  local3   info   
  #没有专门日志 vim  /etc/rsyslog.conf  
  #imudp  模块打开  接收端口打开
  #local3.*       /var/log/haproxy_xxxx.log   systemctl  restart  rsyslog 
defaults
    option http-keep-alive   #会话保持
    option  forwardfor       #头部添加客户端源地址 ip透传
  #后端服务器需要记录客户端真实ip, 需要在HTTP请求中添加”X-Forwarded-For”字段;
  #haproxy自身的健康检测机制访问后端服务器时, 不应将记录访问日志，可用except来排除127.0.0.0，即haproxy本身
  #option      httpclose 
  #启http协议中服务器端关闭功能, 每个请求完毕后主动关闭http通道, 使得支持长连接，使得会话可以被重用，使得每一个日志记录都会被记录
  #option      dontlognull   #如果产生了一个空连接，那这个空连接的日志将不会记录.
    maxconn 100000           #最大并发
    mode http                #全局默认转发模式，listen 区域可重写该变量
    timeout connect 60s      #TCP之前 （请求到后端，不能建立连接
    timeout client  600s     #空连接时间 
    timeout server  600s     #tcp之后（请求已转发） 后端处理较长，建议设置久时间
    timeout check   10s       #心跳检测时间
    #timeout http-request  10s  #默认http请求超时时间
    #timeout queue    1m     #默认队列超时时间, 后端服务器在高负载时, 会将haproxy发来的请求放进一个队列中
    
    #当与后端服务器的会话失败(服务器故障或其他原因)时, 把会话重新分发到其他健康的服务器上; 当故障服务器恢复时, 会话又被定向到已恢复的服务器上;
    #还可以用”retries”关键字来设定在判定会话失败时的尝试连接的次数
    #option      redispatch
    #retries     3
    #当haproxy负载很高时, 自动结束掉当前队列处理比较久的链接.
    #option      abortonclose
    
    #设置默认的负载均衡方式
    #balance source 
    #balnace leastconn
    

listen stats
   mode http
   bind 0.0.0.0:9999
   stats enable
   log   global
   #option  httplog       #日志格式
   #maxconn   10          #统计页面默认最大连接
   #stats hide-version    #隐藏统计页面上的haproxy版本信息
   #stats refresh 30s     #监控页面自动刷新时间
   #stats realm  LTC Haproxy  #统计页面密码框提示文本
   stats uri     /haproxy-status
   stats auth    haadmin:1q2w3e4r
   #手工启动/禁用后端服务器, 可通过web管理节点
   stats admin if TRUE
   
   #设置haproxy错误页面
    errorfile 400 /usr/local/haproxy/errorfiles/400.http
    errorfile 403 /usr/local/haproxy/errorfiles/403.http
    errorfile 408 /usr/local/haproxy/errorfiles/408.http
    errorfile 500 /usr/local/haproxy/errorfiles/500.http
    errorfile 502 /usr/local/haproxy/errorfiles/502.http
    errorfile 503 /usr/local/haproxy/errorfiles/503.http
    errorfile 504 /usr/local/haproxy/errorfiles/504.http

listen  web_port
   bind  *:80   #填写具体的地址端口（可绑定多网卡分流
   mode  tcp
   log  global
   #option forwardfor
   server web1   192.168.36.74:80  weight  2   check  port  9000  inter 3000 fall 2 rise 5  #健康检查后端php:9000
   server web2   192.168.36.75:80  weight  3   check  port  9000   inter 3000 fall 2 rise 5  #健康检查后端php:9000

keepalived

主备配置文件需改变  state MASTER  状态，优先级页需要改变，默认为抢占模式，即主故障后备生效，主恢复后备因为优先级再次失效

global_defs {
   notification_email {
        2222@qq.com    
   }

   notification_email_from  admin@loaclhost
   smtp_server  127.0.0.1
   smtp_connect_timeout 30
   router_id  test73
   vrrp_skip_check_adv_addr
  # vrrp_strict
   vrrp_garp_interval 0
   vrrp_gna_interval 0
}

vrrp_instance VI_1 {
    state MASTER
    interface eth1
    virtual_router_id 51
    priority   50
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1q2w3e4r
    }
    virtual_ipaddress {
    #    192.168.36.179
    192.168.36.179   dev eth1  label eth1:0
    192.168.36.180   dev eth1  label eth1:1
    }
}

keepalived  监控脚本

#keepalived  再改变状态即 MASTER 或 BACKUP 时执行脚本
cat /etc/keepalived/notify.sh
#!/bin/bash
contact='2012@qq.com'
notify() {
mailsubject="$(hostname) to be $1, vip 转移"
mailbody="$(date +'%F %T'): vrrp transition, $(hostname) changed to be $1"
echo "$mailbody" | mail -s "$mailsubject" $contact
}
case $1 in
master)
notify master
;;
backup)
notify backup
;;
fault)
notify fault
;;
*)
echo "Usage: $(basename $0) {master|backup|fault}"
exit 1
;;
esac


调用方法 vrrp_instance 中调用
notify_master "/etc/keepalived/notify.sh master"
notify_backup "/etc/keepalived/notify.sh backup"
notify_fault "/etc/keepalived/notify.sh fault"



#判断本机是否可用，对vs权重进行调整，进而改变VIP的位置
（根据第三方文件判断本机服务是否正常）
#主配置文件中声明
vrrp_script chk_down {
 script "/bin/bash -c '[[ -f /etc/keepalived/down ]]' && exit 7 || exit 0"
 #script "/usr/bin/killall -0 nginx"
 #根据文件是否存在测试进程是否活跃
 
 interval 1
 weight -20
 fall 3
 rise 5
 timeout 2
}

#vrrp_instance  中调用
track_script {
#chk_down
chk_nginx
}