zoukankan      html  css  js  c++  java

  • 转 MySQL数据库监控软件lepus使用问题以及解决办法

    ##感谢coe2coe

    MySQL数据库监控软件lepus使用问题以及解决办法

     https://www.jb51.net/article/148086.htm

    在使用lepus3.7监控MySQL数据库的时候，碰到了以下几个问题，本博客给出了这些问题产生的原因，以及相应的解决办法。

    1. 问题1：php页面无法连接数据库

    直接使用php程序执行php文件，可以连接mysql，但是在httpd中同样的php页面无法连接mysql。

    lepus的web程序(PHP代码)无法连接数据库时，web界面上什么操作也无法继续。

    为此编写了最简单的PDO连接测试代码：

    php代码如下：

    ?
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    [x@coe2coe lepus]$ cat mysql.php
    <?php
     try{
     #$dsn="mysql:host=127.0.0.1;dbname=lepus;";
     $dsn="mysql:host=11.1.1.11;dbname=lepus;";
     $user="coe2coe";
     $pwd="XXXXXXXXXX";
     $sql="select now() as a";
     $dbh=new PDO($dsn,$user,$pwd);
     $stmt=$dbh->prepare($sql);
     $stmt->execute();
     $row=$stmt->fetch(PDO::FETCH_ASSOC);
     echo "result:".$row['a'];
     }
     catch(PDOException $e) {
     echo "FAILED:".$e->getMessage();
     }
    ?>

    php程序直接执行php文件：

    ?
    1
    2
    [x@coe2coe lepus]$ php mysql.php
    result:2018-09-27 00:03:44

    通过浏览器访问这个页面：

    FAILED:SQLSTATE[HY000] [2003] Can't connect to MySQL server on '11.1.1.11' (13)

    lepus的web程序给出的错误提示信息更加模糊。

    原因：

    通过一番baidu之后，终于看到了一个比较靠谱的分析。

    Linux(CentOS7)的selinux安全机制禁止了httpd中的模块访问网络。

    ?
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    38
    39
    40
    41
    42
    43
    [x@coe2coe lepus]$ sudo getsebool -a |grep httpd
    httpd_anon_write --> off
    httpd_builtin_scripting --> on
    httpd_can_check_spam --> off
    httpd_can_connect_ftp --> off
    httpd_can_connect_ldap --> off
    httpd_can_connect_mythtv --> off
    httpd_can_connect_zabbix --> off
    httpd_can_network_connect --> off
    httpd_can_network_connect_cobbler --> off
    httpd_can_network_connect_db --> off
    httpd_can_network_memcache --> off
    httpd_can_network_relay --> off
    httpd_can_sendmail --> off
    httpd_dbus_avahi --> off
    httpd_dbus_sssd --> off
    httpd_dontaudit_search_dirs --> off
    httpd_enable_cgi --> on
    httpd_enable_ftp_server --> off
    httpd_enable_homedirs --> off
    httpd_execmem --> off
    httpd_graceful_shutdown --> on
    httpd_manage_ipa --> off
    httpd_mod_auth_ntlm_winbind --> off
    httpd_mod_auth_pam --> off
    httpd_read_user_content --> off
    httpd_run_ipa --> off
    httpd_run_preupgrade --> off
    httpd_run_stickshift --> off
    httpd_serve_cobbler_files --> off
    httpd_setrlimit --> off
    httpd_ssi_exec --> off
    httpd_sys_script_anon_write --> off
    httpd_tmp_exec --> off
    httpd_tty_comm --> off
    httpd_unified --> off
    httpd_use_cifs --> off
    httpd_use_fusefs --> off
    httpd_use_gpg --> off
    httpd_use_nfs --> off
    httpd_use_openstack --> off
    httpd_use_sasl --> off
    httpd_verify_dns --> off

    解决办法：

    临时办法：临时禁用SELINUX。

    [x@coe2coe lepus]$ sudo setenforce 0

    永久办法：修改selinux配置文件，禁用SELINUX。

    ?
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    [x@coe2coe lepus]$ cat /etc/selinux/config
    # This file controls the state of SELinux on the system.
    # SELINUX= can take one of these three values:
    #  enforcing - SELinux security policy is enforced.
    #  permissive - SELinux prints warnings instead of enforcing.
    #  disabled - No SELinux policy is loaded.
    #SELINUX=enforcing
    SELINUX=disabled
    # SELINUXTYPE= can take one of three two values:
    #  targeted - Targeted processes are protected,
    #  minimum - Modification of targeted policy. Only selected processes are protected.
    #  mls - Multi Level Security protection.
    SELINUXTYPE=targeted

    验证：

    再次在浏览器中访问这个php页面：

    result:2018-09-27 00:09:26

    2. 问题2：lepus日志中出现group by警告。

    2018-09-27 01:12:41 [WARNING] check mysql 11.1.1.11:3408 failure: 1055 Expression #2 of SELECT list is not in GROUP BY clause and contains nonaggregated column 'information_schema.processlist.USER' which is not functionally dependent on columns in GROUP BY clause; this is incompatible with sql_mode=only_full_group_by

    原因：

    这是lepus后端监控程序写的log。

    默认情况下sql_mode包含ONLY_FULL_GROUP_BY。

    ?
    1
    2
    3
    4
    5
    6
    7
    mysql> select @@sql_mode;
    +-------------------------------------------------------------------------------------------------------------------------------------------+
    | @@sql_mode                                |
    +-------------------------------------------------------------------------------------------------------------------------------------------+
    | ONLY_FULL_GROUP_BY,STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION |
    +-------------------------------------------------------------------------------------------------------------------------------------------+
    1 row in set (0.01 sec)

    解决办法：

    去掉ONLY_FULL_GROUP_BY。

    ?
    1
    sql_mode=STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION

    3. 问题3：复制监控查询不到数据。

    没有查询到数据.

    解决办法：

    show_compatibility_56=1

    4. 问题4：表空间分析没有数据。

    5. 问题5:慢查询没有数据。

    前提：

    MySQL的my.cnf配置文件中已经配置了慢查询日志。

    ?
    1
    2
    3
    4
    5
    6
    7
    slow_query_log=1
     
    long_query_time=10
     
    log_slow_admin_statements=1
     
    log_slow_slave_statements=1

    原因：

    1.lepus慢查询分析基于pecona-toolkit工具包中的pt-query-digest程序。需要先安装这个工具包。

    2. pt-query-digest程序与lepus3.7建的表有点冲突。

    Pipeline process 5 (iteration) caused an error: DBD::mysql::st execute failed: Data truncated for column 'checksum' at row 1 [for Statement "REPLACE INTO `lepus`.`mysql_slow_query_review_history`(`checksum`, `sample`, `serverid_max`, `db_max`, `user_max`, `ts_min`,
    .....
    Terminating pipeline because process 4 (iteration) caused too many errors.

    修改mysql_slow_query_review：

    ?
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    mysql> alter table mysql_slow_query_review modify checksum varchar(100) not null ;
    Query OK, 0 rows affected (0.03 sec)
    Records: 0 Duplicates: 0 Warnings: 0
    修改mysql_slow_query_review_history:
    mysql> alter table mysql_slow_query_review_history modify checksum varchar(100) not null;
    Query OK, 0 rows affected (0.02 sec)
    Records: 0 Duplicates: 0 Warnings: 0
    mysql> alter table mysql_slow_query_review_history modify serverid_max smallint(4) null;
    Query OK, 0 rows affected (0.02 sec)
    Records: 0 Duplicates: 0 Warnings: 0

    修改脚本：

    原始的lepus_slowquery.sh文件存在一些问题。

    (1) 需要人工指定lepus_server_id。这个脚本需要在每个MySQL服务器上部署，因此如果要监控的MySQL很多，会比较容易出错。

    lepus_server_id这个参数很重要。下面的代码可以自动取得这个id。

    ?
    1
    id=$( $mysql_client -h$lepus_db_host -P$lepus_db_port -u$lepus_db_user -p$lepus_db_password -e "select id,host,port from $lepus_db_database.db_servers_mysql where host='$mysql_host' and port=$mysql_portG" 2>/dev/null |grep "id:" |awk -F": " '{print $2}')

    (2）同一台机器上如果部署有多个MySQL服务实例时，应该只需要一个定时任务即可，在另一脚本中同时对本机的多个MySQL服务实例进行检查。

    这个总的定时脚本如下,测试时开启了6个MySQL实例,端口依次为：3306 3307 3308 3406 3407 3408.其中3306和3406为MASTER，其它为SLAVE。在这个总的脚本中对每个实例调用lepus_slowquery.sh。

    ?
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    [x@coe2coe mysql]$ cat slowquery.sh
    ##################################################################
    # FileName ：slowquery.sh
    # Author  : coe2coe@qq.com
    # Created  ：2018-09-27
    # Description ：http://www.cnblogs.com/coe2coe/
    #################################################################
    #!/bin/bash
    ports=(3306 3307 3308 3406 3407 3408)
    i=0
    while [ $i -lt ${#ports[*]} ]
    do
     port=${ports[$i]}
     echo -e "/lepus_slowquery.sh $port"
     ./lepus_slowquery.sh $port
     let i=i+1
    done

    (3)原始的lepus_slowquery.sh会去修改MySQL的全局配置参数，个人认为不需要修改，这两个配置还是应该按照MySQL服务器的my.cnf文件中配置的为准,不应该因为部署了一个lepus监控系统就随意的修改这个参数。因此直接注释掉了最后面的几行代码。

    ?
    1
    2
    long_query_time
    slow_query_log_file

    修改后的完整的lepus_slowquery.sh文件如下：

    ?
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    38
    39
    40
    41
    42
    43
    44
    45
    46
    47
    48
    49
    50
    51
    52
    [x@coe2coe mysql]$ cat lepus_slowquery.sh
    #!/bin/bash
    #****************************************************************#
    # ScriptName: /usr/local/sbin/lepus_slowquery.sh
    # Create Date: 2014-03-25 10:01
    # Modify Date: 2014-03-25 10:01
    #***************************************************************#
    port=$1
    id=$2
    if [ "$port" == "" ] || [ $port -lt 1 ]
    then
     echo -e "invalid argument port"
     exit 1
    fi
    echo -e "mysql port is :{$port} "
    #config lepus database server
    lepus_db_host="11.1.1.11"
    lepus_db_port=3306
    lepus_db_user="lepus_monitor"
    lepus_db_password="XXXXXXXXXX"
    lepus_db_database="lepus"
    #config mysql server
    mysql_client="/usr/bin/mysql"
    mysql_host="11.1.1.11"
    mysql_port=$port
    mysql_user="lepus_monitor"
    mysql_password="XXXXXXXXXX"
    id=$( $mysql_client -h$lepus_db_host -P$lepus_db_port -u$lepus_db_user -p$lepus_db_password -e "select id,host,port from $lepus_db_database.db_servers_mysql where host='$mysql_host' and port=$mysql_portG" 2>/dev/null |grep "id:" |awk -F": " '{print $2}')
    if [ "$id" == "" ] || [ $id -lt 1 ]
    then
     echo -e "invalid argument id"
     exit 2
    fi
    echo -e "mysql lepus id is :{$id}"
    #config slowqury
    slowquery_dir="/tmp/"
    slowquery_long_time=1
    slowquery_file=`$mysql_client -h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_password -e "show variables like 'slow_query_log_file'" 2>/dev/null |grep log|awk '{print $2}'`
    pt_query_digest="/usr/bin/pt-query-digest"
    #config server_id
    lepus_server_id=$id
    #collect mysql slowquery log into lepus database
    $pt_query_digest --user=$lepus_db_user --password=$lepus_db_password --port=$lepus_db_port --review h=$lepus_db_host,D=$lepus_db_database,t=mysql_slow_query_review --history h=$lepus_db_host,D=$lepus_db_database,t=mysql_slow_query_review_history --no-report --limit=100% --filter=" $event->{add_column} = length($event->{arg}) and $event->{serverid}=$lepus_server_id " $slowquery_file > /tmp/lepus_slowquery.log
    ##### set a new slow query log ###########
    #tmp_log=`$mysql_client -h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_password -e "select concat('$slowquery_dir','slowquery_', '$port','_', date_format(now(),'%Y%m%d%H'),'.log');" 2>/dev/null |grep log|sed -n -e '2p'`
    #config mysql slowquery
    #$mysql_client -h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_password -e "set global slow_query_log=1;set global long_query_time=$slowquery_long_time;" 2>/dev/null
    #$mysql_client -h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_password -e "set global slow_query_log_file = '$tmp_log'; "
    #delete log before 7 days
    #cd $slowquery_dir
    #/usr/bin/find ./ -name 'slowquery_*' -mtime +7|xargs rm -rf ;
    ####END####

    6. 问题6：web慢查询查询不到lepus中的数据

    在mysql_slow_query_review表中记录了慢查询，但是在lepus web界面上没有数据。

    执行：select sleep(14)有时候无法在web界面查询到。

    原因：有时候pt-query-digest产生的结果中db_max为NULL，导致查询不出来。

    这个字段安装的原始数据库是NOT NULL，但是在NOT NULL的情况下pt-query-digest有时会插入NULL数据，导致报错。所以修改为了NULL。

    修改为NULL后，web界面中查询时使用的PHP程序的SQL语句有问题，没有考虑NULL的情况，导致查询不出来这部分数据。

    解决办法：

    临时打开general_log这个全局参数，再做web查询慢日志，就可以很快找到这个SQL语句，再根据这个SQL语句就可以找到有问题的PHP代码。

    将 application/controllers/lp_mysql.php中的以下语句注释掉即可。

    修改前：

    ?
    1
    $this->db->where( "b.db_max !=", 'information_schema'");

    修改后：

    ?
    1
    //$this->db->where( "b.db_max !=", 'information_schema'");

    7. 问题7：主机监控中的三项都没有数据。

    原因：监控主机以及被监控主机上没有安装snmpd，snmptrapd。

    解决办法：

    在所有主机上安装snmpd和snmptrapd。

    软件包：

    ?
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    x@coe2coe snmp]$ ls net-snmp*
     
    net-snmp-5.7.2-32.el7.x86_64.rpm
     
    net-snmp-agent-libs-5.7.2-32.el7.x86_64.rpm
     
    net-snmp-devel-5.7.2-32.el7.x86_64.rpm
     
    net-snmp-libs-5.7.2-32.el7.x86_64.rpm
     
    net-snmp-perl-5.7.2-32.el7.x86_64.rpm
     
    net-snmp-python-5.7.2-32.el7.x86_64.rpm
     
    net-snmp-sysvinit-5.7.2-32.el7.x86_64.rpm
     
    net-snmp-utils-5.7.2-32.el7.x86_64.rpm

    CentOS7-everything-xxx.iso上有这些软件包。

    安装完毕后启动snmpd和snmptrapd服务。

    总结

    以上所述是小编给大家介绍的MySQL数据库监控软件lepus使用问题以及解决办法，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持！

    您可能感兴趣的文章:

    ###sample 2 感谢GPF19950411


    参考解析命令
    请注意要加charset，要不然sql中中文会乱码


    pt-query-digest
    --user=user --password=password --port=port
    --review h=ip,D=dbname,t=t_slowq_review
    --history h=ip,D=dbname,t=t_slowq_details
    --no-report --limit=100% --charset=utf8

    --charset=utf8
    ————————————————
    版权声明：本文为CSDN博主「GPF19950411」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
    原文链接：https://blog.csdn.net/GPF19950411/java/article/details/99676516

    ###感谢@Mount565Mount565

     https://github.com/box/Anemometer/issues/146

    This is caused by incorrect character encoding. In my case , it is because perl is trying to insert utf8mb4 character into table with utf8mb3 encoding. I changed table character encoding to utf8mb4 , the error vanished
  • 相关阅读:
    Win8系统 Python安装
    一些安卓开源框架整理
    Android 媒体键监听以及模拟媒体键盘的实现 demo
    android View 自动 GONE 问题
    Android 定时器TimerTask 简单使用
    关于Android studio 相对 eclipse 优点
    Java序列化与反序列化
    android shape的使用 边框
    Android Studio 修改 包名 package name
    Android WebView Long Press长按保存图片到手机
  • 原文地址：https://www.cnblogs.com/feiyun8616/p/12736678.html
Copyright © 2011-2022 走看看