zoukankan      html  css  js  c++  java
  • [zabbix]-zabbix入门

    第1章 监控知识基本概述

    1.为什么要使用监控

    1.对系统不间断实时监控
    2.实时反馈系统当前状态
    3.保证服务可靠性安全性
    4.保证业务持续稳定运行

    2.流行的监控工具

    1.Zabbix
    2.Open-Falcon 小米
    3.Prometheus(普罗米修斯, Docker、 K8s)

    3.如果去到一家新公司,如何入手监控

    1.硬件监控 路由器、交换机、防火墙
    2.系统监控 CPU、内存、磁盘、网络、进程、 TCP
    3.服务监控 nginx、 php、 tomcat、 redis、 memcache、 mysql
    4.WEB 监控 请求时间、响应时间、加载时间、
    5.日志监控 ELk(收集、存储、分析、展示) 日志易
    6.安全监控 Firewalld、 WAF(Nginx+lua)、安全宝、牛盾云、安全狗
    7.网络监控 smokeping 多机房
    8.业务监控 活动引入多少流量、产生多少注册量、带来多大价值

    第2章 单机时代如何监控

    CPU 监控命令: w、 top、 htop、 glances

    %Cpu(s): 0.3 us, 0.3 sy, 0.0 ni, 99.3 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
    us 用户态: 跟用户的操作有关 35%
    sy 系统态: 跟内核的处理有关 60%
    id CPU 空闲:
    

    内存监控命令: free

    [root@m01 ~]# free -h
                  total        used        free      shared  buff/cache   available
    Mem:           977M        105M        724M        6.6M        148M        729M
    Swap:          1.0G          0B        1.0G
    

    磁盘监控命令: df、 iotop

    Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
    sda 0.80 25.32 33.36 221034 291193
    设备名 每秒传输次数 每秒读大小 每秒写大小 读的总大小 写的总大小
    

    网络监控命令: ifconfig、 route、 glances、 iftop、 nethogs、 netstat

    单位换算
    Mbps 100Mbps/8
    MB 12MB
    iftop 中间的<= =>这两个左右箭头,表示的是流量的方向。
    TX:发送流量、 RX:接收流量、 TOTAL:总流量
    #查看 TCP11 中状态
    netstat -an|grep ESTABLISHED
    netstat -rn # 查看路由信息
    netstat -lntup
    

    2.随着时间的推移,用户不断的增多,服务随时可能扛不住会被 oom(out of memory),当系统内存不足的时候,会
    触发 oom
    1.当系统内存不足的时候就会大量使用 swap
    2.当系统大量使用 swap 的时候,系统会特别卡
    注意: 有时可能内存还有剩余 300Mb-500Mb,但会发现 swap 依然被使用

    [root@ZabbixServer ~]# dd if=/dev/zero of=/dev/null bs=800M
    [root@ZabbixServer ~]# tail -f /var/log/messages
    Out of memory: Kill process 2227 (dd) score 778 or sacrifice child
    Killed process 2227 (dd) total-vm:906724kB, anon-rss:798820kB, file-rss:0kB
    

    3.那单机时代,如何使用 shell 脚本来实现服务器的监控
    需求: 每隔 1 分钟监控一次内存,当你的可用内存低于 100m,发邮件报警,要求显示剩余内存
    1.怎么获取内存可用的值 free -m|awk '/^Mem/{print $NF}'
    2.获取到内存可用的值如何和设定的阈值进行比较
    3.比较如果大于 100m 则不处理,如果小于 100 则报警
    4.如何每隔 1 分钟执行一次

    [root@ZabbixServer ~]# cat free.sh
    #!/usr/bin/bash
    HostName=$(hostname)_$(hostname -i)
    Date=$(date +%F)
    while true;do
    Free=$(free -m|awk '/^Mem/{print $NF}')
    if [ $Free -le 100 ];then
    echo "$Date: $HostName Mem Is < ${Free}MB"
    fi
    sleep 5
    done
    

    第3章 zabbix 监控快速安装

    1.配置zabbix仓库

    [root@m01 ~]# rpm -ivh https://mirrors.tuna.tsinghua.edu.cn/zabbix/zabbix/4.0/rhel/7/x86_64/zabbix-release-4.0-1.el7.noarch.rpm
    [root@m01 ~]# sed -i 's#repo.zabbix.com#mirrors.tuna.tsinghua.edu.cn/zabbix#g' /etc/yum.repos.d/zabbix.repo
    

    2.安装 Zabbix 程序包,以及 MySQL、 Zabbix-agent

    [root@m01 ~]# yum install -y zabbix-server-mysql zabbix-web-mysql zabbix-agent mariadb-server
    [root@m01 ~]# systemctl start mariadb.service && systemctl enable mariadb.service
    

    3.创建 Zabbix 数据库以及用户

    [root@m01 ~]# mysqladmin password 123456
    [root@m01 ~]# mysql -uroot -p123456
    MariaDB [(none)]> create database zabbix character set utf8 collate utf8_bin;
    MariaDB [(none)]> grant all privileges on zabbix.* to zabbix@localhost identified by 'zabbix';
    MariaDB [(none)]> flush privileges;
    

    4.导入 Zabbix 数据至数据库中

    [root@m01 ~]# zcat /usr/share/doc/zabbix-server-mysql-4.0.11/create.sql.gz | mysql -uzabbix -pzabbix zabbix
    

    5.编辑/etc/zabbix/zabbix_server.conf 文件,修改数据库配置

    [root@m01 ~]# grep "^[a-Z]" /etc/zabbix/zabbix_server.conf 
    ...............
    DBHost=localhost
    DBName=zabbix
    DBUser=zabbix
    DBPassword=zabbix
    ...............
    

    6.启动 Zabbix 服务进程,并加入开机自启

    [root@m01 ~]# systemctl start zabbix-server.service 
    [root@m01 ~]# systemctl enable zabbix-server.service
    

    7.配置 Apache 的配置文件/etc/httpd/conf.d/zabbix.conf,修改时区

    [root@m01 ~]# grep "Shanghai" /etc/httpd/conf.d/zabbix.conf 
            php_value date.timezone Asia/Shanghai
    

    8.重启 Apache Web 服务器

    [root@m01 ~]# systemctl start httpd
    

    第4章 WEB安装步骤

    1.浏览器打开地址:http://10.0.1.61/zabbix/setup.php

    2.检查依赖项是否存在异常

    3.配置zabbix连接数据库

    4.配置 ZabbixServer 服务器的信息

    5.最终确认检查

    6.安装成功

    提示已成功地安装了 Zabbix 前端。配置文件/etc/zabbix/web/zabbix.conf.php 被创建。

    7.登陆zabbix

    默认登陆 ZabbixWeb 的用户名 Admin,密码 zabbix

    8.调整字符集为中文


    9.修复中文乱码

    打开图形之后会发现语言为乱码,原因是缺少字体

    解决方法:安装字体并替换现有字体

    [root@m01 ~]# yum install wqy-microhei-fonts -y
    [root@m01 ~]# cp /usr/share/fonts/wqy-microhei/wqy-microhei.ttc /usr/share/zabbix/assets/fonts/graphfont.ttf
    

    再次刷新发现已经变成中文了

    第5章 Zabbix 监控基础架构

    zabbix-agent(数据采集)—>zabbix-server(数据分析|报警)—> 数据库(数据存储)<—zabbix web(数据展示)

    第6章 zabbix 快速监控主机

    1.安装zabbix-agent

    [root@web01 ~]# rpm -ivh https://mirror.tuna.tsinghua.edu.cn/zabbix/zabbix/4.0/rhel/7/x86_64/zabbix-agent-4.0.11-1.el7.x86_64.rpm
    

    2.配置zabbix-agent

    [root@web01 ~]# grep "^[a-Z]" /etc/zabbix/zabbix_agentd.conf    
    PidFile=/var/run/zabbix/zabbix_agentd.pid
    LogFile=/var/log/zabbix/zabbix_agentd.log
    LogFileSize=0
    Server=10.0.1.61
    ServerActive=127.0.0.1
    Hostname=Zabbix server
    Include=/etc/zabbix/zabbix_agentd.d/*.conf
    

    3.启动zabbix-agent并检查

    [root@web01 ~]# systemctl start zabbix-agent.service 
    [root@web01 ~]# systemctl enable zabbix-agent.service
    [root@web01 ~]# netstat -lntup|grep 10050
    tcp        0      0 0.0.0.0:10050           0.0.0.0:*               LISTEN      10351/zabbix_agentd 
    tcp6       0      0 :::10050                :::*                    LISTEN      10351/zabbix_agentd 
    

    4.zabbix-web界面,添加主机



    第7章 自定义监控主机小试身手

    1.监控需求

    监控TCP11种状态集

    2.命令行实现

    [root@web01 ~]# netstat -ant|grep -c TIME_WAIT
    55
    [root@web01 ~]# netstat -ant|grep -c LISTEN
    12
    

    3.编写zabbix监控文件(传参形式)

    [root@web01 ~]# cat /etc/zabbix/zabbix_agentd.d/tcp_status.conf 
    UserParameter=tcp_state[*],netstat -ant|grep -c $1
    root@web01 ~]# systemctl restart zabbix-agent.service
    

    4.server端进行测试

    [root@m01 ~]# rpm -ivh https://mirrors.tuna.tsinghua.edu.cn/zabbix/zabbix/4.0/rhel/7/x86_64/zabbix-release-4.0-1.el7.noarch.rpm
    [root@m01 ~]# yum install zabbix-get.x86_64 -y 
    [root@m01 ~]# zabbix_get -s 10.0.1.7 -k tcp_state[TIME_WAIT]
    51
    [root@m01 ~]# zabbix_get -s 10.0.1.7 -k tcp_state[LISTEN]   
    12
    

    5.web端添加


    6.克隆监控项

    由于TCP有多种状态,需要添加多个监控项,我们可以使用克隆快速达到创建的效果



    其他的状态依次添加即可

    7.创建图形

    8.查看图形

    9.设置触发器




    第8章 邮件报警

    1.定义发件人


    2.定义收件人



    3.自定义报警内容

    定制报警内容:
    https://www.zabbix.com/documentation/4.0/zh/manual/appendix/macros/supported_by_location
    参考博客

    https://www.cnblogs.com/bixiaoyu/p/7302541.html
    

    发送警告

    报警邮件标题可以使用默认信息,亦可使用如下中文报警内容
    名称:Action-Email
    默认标题:故障{TRIGGER.STATUS},服务器:{HOSTNAME1}发生: {TRIGGER.NAME}故障!
    告警主机:{HOSTNAME1}
    告警时间:{EVENT.DATE} {EVENT.TIME}
    告警等级:{TRIGGER.SEVERITY}
    告警信息: {TRIGGER.NAME}
    告警项目:{TRIGGER.KEY1}
    问题详情:{ITEM.NAME}:{ITEM.VALUE}
    当前状态:{TRIGGER.STATUS}:{ITEM.VALUE1}
    事件ID:{EVENT.ID} 
    

    恢复警告

    恢复标题:恢复{TRIGGER.STATUS}, 服务器:{HOSTNAME1}: {TRIGGER.NAME}已恢复!
    恢复信息:
    告警主机:{HOSTNAME1}
    告警时间:{EVENT.DATE} {EVENT.TIME}
    告警等级:{TRIGGER.SEVERITY}
    告警信息: {TRIGGER.NAME}
    告警项目:{TRIGGER.KEY1}
    问题详情:{ITEM.NAME}:{ITEM.VALUE}
    当前状态:{TRIGGER.STATUS}:{ITEM.VALUE1}
    事件ID:{EVENT.ID}
    

    第9章 微信报警

    1.查看配置文件里的脚本目录路径

    [root@m01 ~]# grep "^AlertScriptsPath" /etc/zabbix/zabbix_server.conf
    AlertScriptsPath=/usr/lib/zabbix/alertscripts
    

    2.将weixin.py放在zabbix特定目录

    [root@m01 /usr/lib/zabbix/alertscripts]# ll
    总用量 4
    -rwxr-xr-x 1 root root 1344 8月   7 21:58 weixin.py
    

    3.配置发信人


    4.配置收信人

    5.登陆企业微信公众号添加账户

    https://work.weixin.qq.com/wework_admin/loginpage_wx
    1.登陆后在企业号上新建应用

    2.上传logo,填写应用名称 ,应用介绍等

    3.查看启动应用
    同时会生成应用的AgentId以及Secret,这个在后面步骤会有用

    4.接口调用测试
    http://work.weixin.qq.com/api/devtools/devtool.php

    这里的corpid为公司ID

    Corpsecret就是刚才创建应用生成的Secrt,确认没问题填写进去然后下一步
    如果没问题会显示200状态码

    6.添加成员

    7.关注公众号

    8.查看自己的账号

    9.修改脚本里的信息

    [root@m01 /usr/lib/zabbix/alertscripts]# cat weixin.py 
    ..............
    corpid='微信企业号corpid'
    appsecret='应用的Secret'
    agentid=应用的id
    ..............
    

    10.发信测试

    [root@m01 /usr/lib/zabbix/alertscripts]# python  weixin.py  你的账号  '发信测试'  ‘微信测试消息’
    

    11.微信号上查看

    12.发送到整个微信组

    虽然我们实现了发送到单个用户的功能,但是如果我们的用户比较多,这样还是麻烦的,不过我们可以发送到整个组,其实脚本里已经预留好了配置,只不过默认注释了。
    将脚本修改为以下内容,注释掉用户,打开组设置

    #!/usr/bin/env python
    
    import requests
    import sys
    import os
    import json
    import logging
    
    logging.basicConfig(level = logging.DEBUG, format = '%(asctime)s, %(filename)s, %(levelname)s, %(message)s',
                    datefmt = '%a, %d %b %Y %H:%M:%S',
                    filename = os.path.join('/tmp','weixin.log'),
                    filemode = 'a')
    corpid='wwd26fdfb9940e7efa'
    appsecret='Btg89FnZfMu0k7l6b4iagmAR5Z9TCgKknYbx-SMQvmg'
    agentid=1000005
    
    token_url='https://qyapi.weixin.qq.com/cgi-bin/gettoken?corpid=' + corpid + '&corpsecret=' + appsecret
    req=requests.get(token_url)
    accesstoken=req.json()['access_token']
    
    msgsend_url='https://qyapi.weixin.qq.com/cgi-bin/message/send?access_token=' + accesstoken
    
    #touser=sys.argv[1]
    toparty=sys.argv[1]
    subject=sys.argv[2]
    message=sys.argv[2] + "
    
    " +sys.argv[3]
    
    params={
            #"touser": touser,
            "toparty": toparty,
            "msgtype": "text",
            "agentid": agentid,
            "text": {
                    "content": message
            },
            "safe":0
    }
    
    req=requests.post(msgsend_url, data=json.dumps(params))
    
    logging.info('sendto:' + toparty + ';;subject:' + subject + ';;message:' + message)                                                                              
    

    12.随机发送到指定用户玩笑脚本

    #!/bin/bash 
    num=$(echo $(($RANDOM%28+1)))
    name=$(sed -n "${num}p" name.txt)
    ok_boy=$(grep -v "${name}" name.txt)
    
    for ok in ${ok_boy}
    do
      python  weixin.py ${ok}  "$1"  "$2"
    done
    

    13.bash脚本发送微信

    cat > weixin.sh << EOF
    #!/bin/bash
    
    #需要将下列信息修改为自己注册的企业微信信息
    #应用ID
    agentid='xxxxxx'
    #secretID
    corpsecret='xxxxxxx'
    #企业ID
    corpid='xxxxxxxx'
    
    #接受者的账户,由zabbix传入
    #user=$1
    group=$1
    #报警邮件标题,由zabbix传入
    title=$2
    #报警邮件内容,由zabbix传入
    message=$3
    
    #获取token信息,需要在链接里带入ID
    token=$(curl -s -X GET "https://qyapi.weixin.qq.com/cgi-bin/gettoken?corpid=${corpid}&corpsecret=${corpsecret}"|awk -F " '{print $10}')
    
    #构造语句执行发送动作
    curl -s -H "Content-Type: application/json" -X POST "https://qyapi.weixin.qq.com/cgi-bin/message/send?access_token=${token}" -d'
    {
       "toparty" : "'"${group}"'",
       "msgtype" : "text",
       "agentid" : '"${agentid}"',
       "text" : {
           "content" : "'"${title}
    
    ${message}"'"
       },
       "safe":0
    }' >> /tmp/weixin.log
    
    #将报警信息写入日志文件
    echo -e "
    报警时间:$(date +%F-%H:%M)
    报警标题:${title}
    报警内容:${message}" >> /tmp/weixin.log
    EOF
    

    第10章 钉钉报警

    1.创建钉钉机器人

    第一步:创建自定义机器人

    第二步:配置关键词

    第三步:记录webhook值

    2.编写报警脚本

    cat > dingding.py << 'EOF'
    #!/usr/bin/python2.7
    #coding:utf-8
    #zabbix钉钉报警
    import requests,json,sys,os,datetime
    webhook="https://oapi.dingtalk.com/robot/send?access_token=xxxxxxxxxxxxxxxxxxxx" 
    user=sys.argv[1]
    text=sys.argv[2] + "
    
    " + sys.argv[3]
    data={
        "msgtype": "text",
        "text": {
            "content": text
        },
        "at": {
            "atMobiles": [
                user
            ],
            "isAtAll": False
        }
    }
    headers = {'Content-Type': 'application/json'}
    x=requests.post(url=webhook,data=json.dumps(data),headers=headers)
    if os.path.exists("/tmp/dingding.log"):
        f=open("/tmp/dingding.log","a+")
    else:
        f=open("/tmp/dingding.log","w+")
    f.write("
    "+"--"*30)
    if x.json()["errcode"] == 0:
        f.write("
    "+str(datetime.datetime.now())+"    "+str(user)+"    "+"发送成功"+"
    "+str(text))
        f.close()
    else:
        f.write("
    "+str(datetime.datetime.now()) + "    " + str(user) + "    " + "发送失败" + "
    " + str(text))
        f.close()
    EOF
    

    3.测试发送

    ./dingding.py 15321312624 这是标题 zabbix故障
    

    4.web页面配置

    和微信脚本配置步骤一样,这里不再叙述

    第11章 自定义模版

    1.监控TCP11种状态

    编写zabbix配置文件

    [root@web01 /etc/zabbix/zabbix_agentd.d]# cat zbx_tcp.conf 
    UserParameter=ESTABLISHED,netstat -ant|grep  -c 'ESTABLISHED'
    UserParameter=SYN_SENT,netstat -ant|grep  -c 'SYN_SENT'
    UserParameter=SYN_RECV,netstat -ant|grep  -c 'SYN_RECV'
    UserParameter=FIN_WAIT1,netstat -ant|grep  -c 'FIN_WAIT1'
    UserParameter=FIN_WAIT2,netstat -ant|grep  -c 'FIN_WAIT2'
    UserParameter=TIME_WAIT,netstat -ant|grep  -c 'TIME_WAIT'
    UserParameter=CLOSE,netstat -ant|grep  -c 'CLOSE'
    UserParameter=CLOSE_WAIT,netstat -ant|grep  -c 'CLOSE_WAIT'
    UserParameter=LAST_ACK,netstat -ant|grep  -c 'LAST_ACK'
    UserParameter=LISTEN,netstat -ant|grep  -c 'LISTEN'
    UserParameter=CLOSING,netstat -ant|grep  -c 'CLOSING'
    

    2.重启zabbix-agent

    [root@web01 ~]# systemctl restart zabbix-agent.service 
    

    3.测试监控项

    使用zabbix-get命令测试

    [root@m01 ~]# yum install zabbix-get.x86_64 -y
    [root@m01 ~]# zabbix_get -s 10.0.1.7 -k ESTABLISHED
    2
    [root@m01 ~]# zabbix_get -s 10.0.1.7 -k LISTEN
    12
    

    3.导入模版文件



    4.主机关联模版文件


    5.查看最新数据

    6.查看图形

    第12章 自定义模版监控nginx状态

    1.开启监控页面并访问测试

    [root@web01 ~]# cat /etc/nginx/conf.d/status.conf 
    server {
       listen 80;
       server_name localhost;
       location /nginx_status {
           stub_status on;
           access_log off;
       }
    }
    
    [root@web01 ~]# curl 127.0.0.1/nginx_status/
    Active connections: 1 
    server accepts handled requests
     6 6 6 
    Reading: 0 Writing: 1 Waiting: 0 
    

    2.准备nginx监控状态脚本

    [root@web01 /etc/zabbix/zabbix_agentd.d]# cat nginx_monitor.sh 
    #!/bin/bash
    NGINX_COMMAND=$1
    CACHEFILE="/tmp/nginx_status.txt"
    CMD="/usr/bin/curl http://127.0.0.1/nginx_status/"
    if [ ! -f $CACHEFILE  ];then
       $CMD >$CACHEFILE 2>/dev/null
    fi
    # Check and run the script
    TIMEFLM=`stat -c %Y $CACHEFILE`
    TIMENOW=`date +%s`
    
    if [ `expr $TIMENOW - $TIMEFLM` -gt 60 ]; then
        rm -f $CACHEFILE
    fi
    if [ ! -f $CACHEFILE  ];then
       $CMD >$CACHEFILE 2>/dev/null
    fi
    
    nginx_active(){
             grep 'Active' $CACHEFILE| awk '{print $NF}'
             exit 0;
    }
    nginx_reading(){
             grep 'Reading' $CACHEFILE| awk '{print $2}'
             exit 0;
    }
    nginx_writing(){
             grep 'Writing' $CACHEFILE | awk '{print $4}'
             exit 0;
    }
    nginx_waiting(){
             grep 'Waiting' $CACHEFILE| awk '{print $6}'
             exit 0;
    }
    nginx_accepts(){
             awk NR==3 $CACHEFILE| awk '{print $1}' 
             exit 0;
    }
    nginx_handled(){
             awk NR==3 $CACHEFILE| awk '{print $2}' 
             exit 0;
    }
    nginx_requests(){
             awk NR==3 $CACHEFILE| awk '{print $3}'
             exit 0;
    }
    
    case $NGINX_COMMAND in
        active)
            nginx_active;
            ;;
        reading)
            nginx_reading;
            ;;
        writing)
            nginx_writing;
            ;;
        waiting)
            nginx_waiting;
            ;;
        accepts)
            nginx_accepts;
            ;;
        handled)
            nginx_handled;
            ;;
        requests)
            nginx_requests;
            ;;
        *)
    echo 'Invalid credentials';
    exit 2;
    esac
    

    3.编写zabbix监控配置文件

    [root@web01 ~]# cat /etc/zabbix/zabbix_agentd.d/nginx_status.conf
    UserParameter=nginx_status[*],/bin/bash /etc/zabbix/zabbix_agentd.d/nginx_monitor.sh $1
    
    [root@web01 ~]# systemctl restart zabbix-agent.service
    

    4.使用zabbix_get取值

    [root@m01 ~]# zabbix_get -s 10.0.1.7 -k nginx_status[accepts]
    7
    

    5.导入模版

    6.链接模版

    7.查看数据

    第13章 自定义模版监控php状态

    1.开启监控页面

    [root@web01 ~]# tail -1 /etc/php-fpm.d/www.conf    
    pm.status_path = /php_status
    
    [root@web01 ~]# cat /etc/nginx/conf.d/status.conf    
    server {
       listen 80;
       server_name localhost;
       location /nginx_status {
           stub_status on;
           access_log off;
       }
    
       location /php_status {
           fastcgi_pass 127.0.0.1:9000;
           fastcgi_index index.php;
           fastcgi_param SCRIPT_FILENAME html$fastcgi_script_name;
           include fastcgi_params;
       }
    }
    
    [root@web01 ~]# nginx -t
    nginx: the configuration file /etc/nginx/nginx.conf syntax is ok
    nginx: configuration file /etc/nginx/nginx.conf test is successful
    [root@web01 ~]# systemctl restart nginx.service php-fpm.service
    

    2.访问测试

    [root@web01 ~]# curl 127.0.0.1/php_status
    pool:                 www
    process manager:      dynamic
    start time:           08/Aug/2019:22:31:27 +0800
    start since:          37
    accepted conn:        1
    listen queue:         0
    max listen queue:     0
    listen queue len:     128
    idle processes:       4
    active processes:     1
    total processes:      5
    max active processes: 1
    max children reached: 0
    slow requests:        0
    

    3.准备访问脚本

    [root@web01 ~]# cat /etc/zabbix/zabbix_agentd.d/fpm.sh 
    #!/bin/bash
    ##################################
    # Zabbix monitoring script
    #
    # php-fpm:
    #  - anything available via FPM status page
    #
    ##################################
    # Contact:
    #  vincent.viallet@gmail.com
    ##################################
    # ChangeLog:
    #  20100922     VV      initial creation
    ##################################
    
    # Zabbix requested parameter
    ZBX_REQ_DATA="$1"
    ZBX_REQ_DATA_URL="$2"
    
    # Nginx defaults
    NGINX_STATUS_DEFAULT_URL="http://localhost/fpm/status"
    WGET_BIN="/usr/bin/wget"
    
    #
    # Error handling:
    #  - need to be displayable in Zabbix (avoid NOT_SUPPORTED)
    #  - items need to be of type "float" (allow negative + float)
    #
    ERROR_NO_ACCESS_FILE="-0.91"
    ERROR_NO_ACCESS="-0.92"
    ERROR_WRONG_PARAM="-0.93"
    ERROR_DATA="-0.94" # either can not connect /   bad host / bad port
    
    # Handle host and port if non-default
    if [ ! -z "$ZBX_REQ_DATA_URL" ]; then
      URL="$ZBX_REQ_DATA_URL"
    else
      URL="$NGINX_STATUS_DEFAULT_URL"
    fi
    
    # save the nginx stats in a variable for future parsing
    NGINX_STATS=$($WGET_BIN -q $URL -O - 2>/dev/null)
    
    # error during retrieve
    if [ $? -ne 0 -o -z "$NGINX_STATS" ]; then
      echo $ERROR_DATA
      exit 1
    fi
    
    # 
    # Extract data from nginx stats
    #
    #RESULT=$(echo "$NGINX_STATS" | awk 'print $0;match($0, "^'"$ZBX_REQ_DATA"':[[:space:]]+(.*)", a) { print a[1] }')
    #RESULT=$(echo "$NGINX_STATS" | grep "$ZBX_REQ_DATA" | awk -F : '{print $2}')
    RESULT=$(echo "$NGINX_STATS" | awk -F : "{if($1=="$ZBX_REQ_DATA") print $2}")
    if [ $? -ne 0 -o -z "$RESULT" ]; then
        echo $ERROR_WRONG_PARAM
        exit 1
    fi
    
    echo $RESULT
    
    exit 0
    
    [root@web01 ~]# bash /etc/zabbix/zabbix_agentd.d/fpm.sh "total processes" http://127.0.0.1/php_status
    5
    

    4.准备zabbix配置文件

    [root@web01 ~]# cat /etc/zabbix/zabbix_agentd.d/fpm.conf    
    UserParameter=php-fpm[*],/etc/zabbix/zabbix_agentd.d/fpm.sh "$1" "$2"
    [root@web01 ~]# systemctl restart zabbix-agent.service
    

    4.使用zabbix_get取值

    [root@m01 ~]# zabbix_get -s 10.0.1.7 -k php-fpm["total processes",http://127.0.0.1/php_status]
    5
    

    5.导入模版

    导入之后需要修改一下模版里的宏配置

    第14章 WEB监控

    需求,监控页面状态码


    第x章 故障记录

    故障1

    故障现象:
    提示zabbix-server is not running

    报错日志:

     34983:20190807:202215.171 database is down: reconnecting in 10 seconds
     34983:20190807:202225.172 [Z3001] connection to database 'zabbix' failed: [1045] Access denied for user 'zabbix'@'localhost' (using password: NO)
    

    故障原因:
    zabbix-server的配置文件里配有配置数据库密码
    故障解决:
    添加正确的数据库账号密码信息

    [root@m01 ~]# grep "^DB" /etc/zabbix/zabbix_server.conf     
    DBHost=localhost
    DBName=zabbix
    DBUser=zabbix
    DBPassword=zabbix
    

    故障2

    故障现象:微信报警失败
    报错日志:

    [root@m01 ~]# tail -f /var/log/zabbix/zabbix_server.log 
    Problem name: TIME_WAIT过多
    Host: web01
    Severity: Average
    
    Original problem ID: 51
    '": Traceback (most recent call last):
      File "/usr/lib/zabbix/alertscripts/weixin.py", line 7, in <module>
        import requests
    ImportError: No module named requests
    

    问题原因:
    缺少模块 requests

    问题解决:
    安装缺失的依赖包

    [root@m01 ~]# yum install python-pip
    [root@m01 ~]# pip install --upgrade pip
    [root@m01 ~]# pip install requests
    

    故障3

    故障现象:
    在server端使用zabbix_get命令测试键值命令时提示警告

    [root@m01 ~]# zabbix_get -s 10.0.1.7 -k ESTABLISHED  
    (Not all processes could be identified, non-owned process info
     will not be shown, you would have to be root to see it all.)
    2
    

    问题原因:
    zabbix_agent是以普通用户zabbix运行的,而普通用户执行netstat -antp时会有警告,网上查找发现只要不是用p参数就可以以普通用户运行
    解决方案:
    监控脚本里的命令修改为netstat -ant

    第15章 Grafana自定义图形

    1.安装grafana

    [root@m01 /data/soft]# wget https://dl.grafana.com/oss/release/grafana-6.3.2-1.x86_64.rpm 
    [root@m01 /data/soft]# yum localinstall grafana-6.3.2-1.x86_64.rpm -y
    [root@m01 /data/soft]# systemctl start grafana-server.service 
    [root@m01 /data/soft]# systemctl enable grafana-server.service
    

    访问grafana:http://10.0.0.61:3000
    账号密码:admin admin

    2.安装并激活zabbix插件

    [root@m01 ~]# grafana-cli plugins list-remote|grep zabbix
    id: alexanderzobnin-zabbix-app version: 3.10.4
    [root@m01 ~]# grafana-cli plugins install alexanderzobnin-zabbix-app
    [root@m01 ~]# systemctl restart grafana-server.service
    

    网页操作-激活zabbix插件

    网页操作-添加zabbix数据源



    网页操作-导入模版

    3.数据展示

    4.自定义图形仪表盘

    5.自定义图形饼图

    1.安装插件

    在线安装方式

    grafana-cli plugins install grafana-piechart-panel
    

    离线安装方式

    wget -nv https://grafana.com/api/plugins/grafana-piechart-panel/versions/latest/download -O /tmp/grafana-piechart-panel.zip
    unzip -q /tmp/grafana-piechart-panel.zip -d /tmp
    mv /tmp/grafana-piechart-panel-* /var/lib/grafana/plugins/grafana-piechart-panel
    service grafana-server restart
    

    2.配置图形

    第16章 percona模版监控mysql

    参考强哥的博客

    https://www.qstack.com.cn/archives/213.html
    

    1.安装php环境

    percona需要php环境

    [root@m01 /data/soft]# yum install php php-mysql -y
    

    2.下载软件



    注意,安装完成后会有提示模版的路径位置

    [root@m01 ~]# cd /data/soft/
    [root@m01 /data/soft]# wget https://www.percona.com/downloads/percona-monitoring-plugins/percona-monitoring-plugins-1.1.8/binary/redhat/7/x86_64/percona-zabbix-templates-1.1.8-1.noarch.rpm
    [root@m01 /data/soft]# rpm -ivh percona-zabbix-templates-1.1.8-1.noarch.rpm 
    警告:percona-zabbix-templates-1.1.8-1.noarch.rpm: 头V4 DSA/SHA1 Signature, 密钥 ID cd2efd2a: NOKEY
    准备中...                          ################################# [100%]
    正在升级/安装...
       1:percona-zabbix-templates-1.1.8-1 ################################# [100%]
    
    Scripts are installed to /var/lib/zabbix/percona/scripts
    Templates are installed to /var/lib/zabbix/percona/templates
    

    3.查看目录

    进入安装目录会发现有2个目录,一个是脚本目录,一个是模版目录

    [root@m01 ~]# cd /var/lib/zabbix/percona/
    [root@m01 /var/lib/zabbix/percona]# tree
    .
    ├── scripts
    │   ├── get_mysql_stats_wrapper.sh
    │   └── ss_get_mysql_stats.php
    └── templates
        ├── userparameter_percona_mysql.conf
        └── zabbix_agent_template_percona_mysql_server_ht_2.0.9-sver1.1.8.xml
    

    其中脚本目录里有2个脚本,用来获取数据库信息

    [root@m01 /var/lib/zabbix/percona]# cd scripts/
    [root@m01 /var/lib/zabbix/percona/scripts]# ls
    get_mysql_stats_wrapper.sh  ss_get_mysql_stats.php
    

    4.修改get_mysql_stats_wrapper.sh

    修改get_mysql_stats_wrapper数据库登陆信息
    第19行添加mysql账号密码

    [root@m01 v]# sed -n '19p' get_mysql_stats_wrapper.sh 
        RES=`HOME=~zabbix mysql -uroot -p123456 -e 'SHOW SLAVE STATUSG' | egrep '(Slave_IO_Running|Slave_SQL_Running):' | awk -F: '{print $2}' | tr '
    ' 
    

    5.修改ss_get_mysql_stats.php

    [root@m01 /var/lib/zabbix/percona/scripts]# sed -n '30,31p' ss_get_mysql_stats.php 
    $mysql_user = 'root';
    $mysql_pass = '123456';
    

    6.复制自定义监控项配置文件到zabbix目录

    [root@m01 ~]# cd /var/lib/zabbix/percona/templates/
    [root@m01 /var/lib/zabbix/percona/templates]# cp userparameter_percona_mysql.conf /etc/zabbix/zabbix_agentd.d/
    [root@m01 /var/lib/zabbix/percona/templates]# cd /etc/zabbix/zabbix_agentd.d/
    [root@m01 /etc/zabbix/zabbix_agentd.d]# ls
    userparameter_mysql.conf  userparameter_percona_mysql.conf
    

    7.重启agent

    [root@m01 ~]# systemctl restart zabbix-agent 
    

    8.测试key

    [root@m01 ~]# zabbix_get -s 10.0.1.61 -k MySQL.Sort-scan
    16
    

    9.导入模版

    官方自带的模版有点问题,需要先装在2.x版本然后导出来,这里使用网友已经修改好的模版上传

    http://pan.baidu.com/s/1pL1wDYj
    

    10.主机链接模版

    xx.报错解决

    查看监控发现没有数据显示不支持类型
    查看zabbix-server发现因为tmp的文件没有权限,因为刚才手动执行了脚本,所以文件属性是root,将文件删除后由zabbix自己创建解决问题
    报错日志如下:

    2846:20190811:202708.785 item "Zabbix server:MySQL.State-init" became not supported: Value "rm: 无法删除"/tmp/localhost-mysql_cacti_stats.txt": 不允许的操作
    0" of type "string" is not suitable for value type "Numeric (float)"
      2843:20190811:202709.787 item "Zabbix server:MySQL.State-locked" became not supported: Value "rm: 无法删除"/tmp/localhost-mysql_cacti_stats.txt": 不允许的操作
    0" of type "string" is not suitable for value type "Numeric (float)"
      2844:20190811:202710.788 item "Zabbix server:MySQL.State-login" became not supported: Value "rm: 无法删除"/tmp/localhost-mysql_cacti_stats.txt": 不允许的操作
    0" of type "string" is not suitable for value type "Numeric (float)"
    

    第17章 自动发现和自动注册

    1.自动发现

    web页面操作
    image.png



    2.自动注册

    修改zabbix-agent配置文件

    [root@web02 ~]# cat /etc/zabbix/zabbix_agentd.conf        
    PidFile=/var/run/zabbix/zabbix_agentd.pid
    LogFile=/var/log/zabbix/zabbix_agentd.log
    LogFileSize=0
    Server=10.0.1.61
    ServerActive=10.0.1.61
    Hostname=web02
    Include=/etc/zabbix/zabbix_agentd.d/*.conf
    

    web页面操作




    刷新查看发现已经添加上了

    第18章 主动模式和被动模式

    默认为被动模式:100个监控项要100个来回,要的时候才返回
    主动模式:100个监控项1个回合,将所需要的100个打包,然后一次发过去,发过去之后,客户端全部执行完再一次返回给服务端。

    1.克隆模版

    完全克隆原来被动模式的模版为主动模式

    2.修改克隆后的模版为主动模式




    3.修改监控主机关联的模版为主动模式

    4.修改客户端配置文件并重启

    [root@web01 ~]# cat /etc/zabbix/zabbix_agentd.conf        
    PidFile=/var/run/zabbix/zabbix_agentd.pid
    LogFile=/var/log/zabbix/zabbix_agentd.log
    LogFileSize=0
    Server=10.0.1.61
    ServerActive=10.0.1.61
    Hostname=web01
    Include=/etc/zabbix/zabbix_agentd.d/*.conf
    [root@web01 ~]# systemctl restart zabbix-agent.service 
    

    5.查看最新数据

    发现获取数据的时间是一样的

    第19章 低级自动发现

    监控端口自动发现

    1.查看系统自带分区自动发现

    系统自带的自动发现会显示红字,比如自带的磁盘分区发现规则


    1.查看zabbbix所有的key过滤后展示

    2.解析成json后的格式

    3.过滤规则
    实质上是从mount命令获取的分区名和类型
    image.png
    但是我们zabbix显示的并没有这么多
    是因为做了正则表达式过滤

    而正则表达式是在管理里面配置的

    4.使用zabbix_get获取key
    因为根据过滤规则,只发现了一个xfs的key,使用zabbix_get可以查看到这个key

    [root@m01 ~]# zabbix_get -s 10.0.1.61 -k vfs.fs.size[{#FSNAME},free]
    ZBX_NOTSUPPORTED: Cannot obtain filesystem information: [2] No such file or directory
    [root@m01 ~]# zabbix_agentd -p|grep vfs.fs.size
    vfs.fs.size[/,free]                           [u|15713636352]
    [root@m01 ~]# zabbix_get -s 10.0.1.61 -k vfs.fs.size[/,free]        
    15713693696
    

    2.查看系统自带的网卡自动发现

    1.查看网络自动发现规则

    2.过滤规则

    2.命令行过滤

    [root@m01 ~]# zabbix_agentd -p|grep net.if.discovery
    net.if.discovery                              [s|{"data":[{"{#IFNAME}":"tun0"},{"{#IFNAME}":"eth0"},{"{#IFNAME}":"eth1"},{"{#IFNAME}":"lo"}]}]
    

    3.查看自动添加的监控项
    我们会发现添加了四个监控项
    2个eth0
    2个eth1


    4.查看key的值

    [root@m01 ~]# zabbix_get -s 10.0.1.61 -k net.if.in[eth0]
    2191453
    [root@m01 ~]# zabbix_get -s 10.0.1.61 -k net.if.in[eth1]
    7152
    

    3.监控mysql多实例

    参考强哥博客

    [https://www.qstack.com.cn/archives/108.html](https://www.qstack.com.cn/archives/108.html)
    

    1.复制并修改数据库配置文件

    [root@m01 ~]# cp /etc/my.cnf /etc/my3307.cnf
    [root@m01 ~]# vim /etc/my3307.cnf 
    [root@m01 ~]# cat /etc/my3307.cnf    
    [mysqld]
    datadir=/data/3307/
    socket=/data/3307/mysql.sock
    port=3307
    user=mysql
    symbolic-links=0
    [mysqld_safe]
    log-error=/data/3307/mysqld.log
    pid-file=/data/3307/mysqld.pid
    [root@m01 ~]# cp /etc/my3307.cnf /etc/my3308.cnf
    [root@m01 ~]# sed -i 's#3307#3308#g' /etc/my3308.cnf
    

    2.创建数据目录并初始化

    [root@m01 ~]# mkdir /data/{3307,3308}
    [root@m01 ~]# chown -R mysql:mysql /data/330*
    [root@m01 ~]# mysql_install_db --user=mysql --defaults-file=/etc/my3307.cnf
    [root@m01 ~]# mysql_install_db --user=mysql --defaults-file=/etc/my3308.cnf
    

    3.启动多实例

    [root@m01 ~]# mysqld_safe --defaults-file=/etc/my3307.cnf &
    [root@m01 ~]# mysqld_safe --defaults-file=/etc/my3308.cnf &
    

    4.检查端口

    [root@m01 ~]# netstat -lntup|grep mysql
    tcp        0      0 0.0.0.0:3306            0.0.0.0:*               LISTEN      2042/mysqld         
    tcp        0      0 0.0.0.0:3307            0.0.0.0:*               LISTEN      84790/mysqld        
    tcp        0      0 0.0.0.0:3308            0.0.0.0:*               LISTEN      85439/mysqld 
    

    5.创建自动发现配置文件

    [root@m01 ~]# vim /etc/zabbix/zabbix_agentd.d/mysql_discovery.conf
    [root@m01 ~]# cat /etc/zabbix/zabbix_agentd.d/mysql_discovery.conf
    UserParameter=mysql.discovery,/bin/bash /server/scripts/mysql_discovery.sh
    

    6.创建自动发现多实例脚本

    [root@m01 ~]# cat /server/scripts/mysql_discovery.sh                                                
    #!/bin/bash 
    #mysql low-level discovery 
    res=$(netstat -lntp|awk -F "[ :	]+" '/mysqld/{print$5}')
    port=($res) 
    printf '{' 
    printf '"data":[' 
    for key in ${!port[@]} 
    do 
            if [[ "${#port[@]}" -gt 1 && "${key}" -ne "$((${#port[@]}-1))" ]];then 
                    printf '{' 
                    printf ""{#MYSQLPORT}":"${port[${key}]}"}," 
            else [[ "${key}" -eq "((${#port[@]}-1))" ]] 
                    printf '{' 
                    printf ""{#MYSQLPORT}":"${port[${key}]}"}" 
            fi 
    done 
    printf ']' 
    printf '}
    '
    

    7.测试自动发现脚本

    [root@m01 ~]# bash /server/scripts/mysql_discovery.sh    
    {"data":[{"{#MYSQLPORT}":"3306"},{"{#MYSQLPORT}":"3307"},{"{#MYSQLPORT}":"3308"}]}
    

    8.重启zabbix-agent

    [root@m01 ~]# systemctl restart zabbix-agent.service 
    

    9.zabbix_get测试取key

    [root@m01 ~]# zabbix_get -s 10.0.1.61 -k mysql.discovery
    (Not all processes could be identified, non-owned process info
     will not be shown, you would have to be root to see it all.)
    {"data":[]}
    

    这时我们发现取不出来并提示了个错误
    原因是zabbix用户不能使用netstat的-p参数
    解决方法为给netstat命令添加s权限

    [root@m01 ~]# which netstat 
    /usr/bin/netstat
    [root@m01 ~]# chmod u+s /usr/bin/netstat 
    

    然后再次测试就发现可以取到值了

    [root@m01 ~]# zabbix_get -s 10.0.1.61 -k mysql.discovery
    {"data":[{"{#MYSQLPORT}":"3306"},{"{#MYSQLPORT}":"3307"},{"{#MYSQLPORT}":"3308"}]}
    

    10.web页面创建自动发现规则模版
    创建模版
    创建自动发现规则
    设置过滤规则
    创建过滤 规则
    11.模仿zabbix自带的mysql监控配置修改监控项

    [root@m01 ~]# cat /etc/zabbix/zabbix_agentd.d/userparameter_mysql.conf    
    UserParameter=mysql.status[*],echo "show global status where Variable_name='$1';" | HOME=/var/lib/zabbix mysql -uroot -p123456 -P $2 -N | awk '{print $$2}'
    [root@m01 ~]# systemctl restart zabbix-agent.service
    

    12.测试访问监控项

    [root@m01 ~]# zabbix_get -s 10.0.1.61 -k mysql.status[Uptime,3307]
    23202
    [root@m01 ~]# zabbix_get -s 10.0.1.61 -k mysql.status[Uptime,3308]
    23204
    

    13.web页面添加监控项原型
    监控项原型

    12.web页面设置主机关联模版
    主机关联模版

    13.查看是否已经自动添加成功

    第20章 zabbix-proxy

    1.安装zabbix-proxy

    rpm -ivh https://mirrors.tuna.tsinghua.edu.cn/zabbix/zabbix/4.0/rhel/7/x86_64/zabbix-release-4.0-1.el7.noarch.rpm
    sed -i 's#repo.zabbix.com#mirrors.tuna.tsinghua.edu.cn/zabbix#g' /etc/yum.repos.d/zabbix.repo
    yum install zabbix-proxy-mysql mariadb-server
    

    2.创建数据库以及账号

    systemctl start mariadb.service 
    mysqladmin password 123456
    mysql -uroot -p123456
    > create database zabbix_proxy character set utf8 collate utf8_bin;
    > grant all privileges on zabbix_proxy.* to zabbix_proxy@localhost identified by 'zabbix_proxy';
    > flush privileges;
    

    3.导入Zabbix_proxy数据至数据库中

    zcat /usr/share/doc/zabbix-proxy-mysql-4.0.21/schema.sql.gz|mysql -uzabbix_proxy -pzabbix_proxy zabbix_proxy
    

    4.配置zabbix-proxy

    cat >/etc/zabbix/zabbix_proxy.conf<<EOF
    ProxyMode=0
    Server=172.16.1.61
    ServerPort=10051
    Hostname=Zabbix_proxy
    LogFile=/var/log/zabbix/zabbix_proxy.log
    LogFileSize=0
    PidFile=/var/run/zabbix/zabbix_proxy.pid
    SocketDir=/var/run/zabbix
    DBHost=localhost
    DBName=zabbix_proxy
    DBUser=zabbix_proxy
    DBPassword=zabbix_proxy
    EOF
    

    5.启动zabbix-proxy

    systemctl start zabbix 
    

    6.zabbix客户端修改配置

    cat >/etc/zabbix/zabbix_agentd.conf <<EOF
    PidFile=/var/run/zabbix/zabbix_agentd.pid
    LogFile=/var/log/zabbix/zabbix_agentd.log
    LogFileSize=0
    Server=172.16.1.8
    ServerActive=172.16.1.8
    HostMetadata=Linux
    Include=/etc/zabbix/zabbix_agentd.d/*.conf
    EOF
    
    systemctl restart zabbix-agent
    

    7.web页面添加代理服务器

    添加代理程序

    添加完代理程序之后,稍等一会主机就会被自动添加上

    查看最新数据是否成功收集

    第21章 web监控

    我们可以配置zabbix来监控web页面的一些状态,比如http状态码,响应时间,登陆状态等。
    下面我们以登陆并监控zabbix首页为例来进行配置。

    1.查看认证

    2.创建web监控场景

    我们可以直接创建一个web监控的模版,并配置触发器

    3.创建步骤

    4.查看最新数据

    5.设置触发器

    这里我们设置两个触发器

    1.首页不是200就报警
    2.检查登陆步骤返回值不为0,则表示登陆失败
    

    6.模拟故障

    此时如果故意将监控项里用户密码写错,虽然状态码依然为200,但是因为返回的HTML字符串不是我们要求的,所以仍然会触发警告。

    将密码修改为错误的:

    查看最新数据:

    ![image-20200620171054336](/Users/zhangya/Library/Application Support/typora-user-images/image-20200620171054336.png)

    查看警告:

    第22章 性能优化

    1.监控数据分析

    zabbix监控主机和监控项较少的时候,不需要优化
    数据库 200台主机 * 200个监控项 = 40000监控项/30秒 = 1333次写入/每秒
    写多 读少 
    

    2.优化思路

    1.mariadb 5.5 innodb 升级到mysql5.7 tokudb
    2.去掉无用监控项,增加监控项的取值间隔,减少历史数据的保存周期
    3.被动模式改为主动模式
    4.针对zabbix-server进程数量调优
    5.针对zabbix-server缓存调优,谁的剩余内存少,就加大他的缓存
    

    3.升级存储引擎

    TokuDB性能比InnoDB要好

    实施步骤:

    1.找一台机器安装好mysql5.7
    2.将mariadb的数据导出,然后替换sql文件里的存储引擎为TokuDB
    3.将替换之后的数据导入到mysql5.7
    4.停掉mariadb
    5.检查测试
    

    4.优化进程数

    可以人为制造进程繁忙,把自动发现调整IP范围为1-254

    这个时候观察会发现自动发现进程变得繁忙了

    修改进程数

    [root@zabbix-11 ~]# grep "^StartDiscoverers" /etc/zabbix/zabbix_server.conf 
    StartDiscoverers=10
    [root@zabbix-11 ~]# systemctl restart zabbix-server.service
    

    调整之后发现进程不这么繁忙了

    5.缓存调优

    调整配置文件

    [root@zabbix-11 ~]# grep "^Cache" /etc/zabbix/zabbix_server.conf 
    CacheSize=128M
    

    第23章 zabbix高可用

    思路:
    2台zabbix-server使用keepavied做高可用
    数据库做主从复制
    keepalived两端都做backup角色,设置不抢占VIP
    keepalived设置如果发生改变就将自身的从库数据库修改为主库设置
    然后另一台修复上线后,手动介入重新做主从同步,变成从库

  • 相关阅读:
    校验字符的表达式
    校验数字的表达式
    Html和xhtml有什么区别
    VUE3.0 + TS 项目实战 (2)基本写法
    VUE3.0 + TS 项目实战 (1)初始化项目
    props传递函数以及$emit触发父组件方法
    rollup
    js函数式编程
    移动端双击事件
    JS节流与防抖
  • 原文地址:https://www.cnblogs.com/alaska/p/12655995.html
Copyright © 2011-2022 走看看