将慢日志汇总发送邮件脚本

1、DB服务器操作

一、在各个DB服务器编写脚本，来获取当天的慢日志并分析

vi /monitor/slow_pt.sh

#!/bin/bash
#作者：***
#创建时间：2018-04-24
#功能：每天的慢日志进行处理，在迁移至跳转机
date=`date +%y%m%d`
SLOW_PATH=/data/mysql_data/DBB01-slow.log    #当前服务器慢日志位置
HOST=`hostname`
manage_ip='10.13.**.**'        #管理ip

`tail -10000 $SLOW_PATH | grep -A10000 "$date" > /pt_log/slow.log`        #此处慢日志格式应当是180423格式，请自行参考线上慢日志格式，部分格式是18-03-23

SIZE=`ls -l /pt_log/slow.log | awk '{print $5}'`

if [[ "$SIZE" -ne 0 ]];then
        `pt-query-digest /pt_log/slow.log > /pt_log/$HOST.log`
        scp -P 22000 /pt_log/$HOST.log $manage_ip:/pt_log/$date　　　　#需要执行第三步
        `rm -f /pt_log/$HOST.log`
fi

`rm /pt_log/slow.log`

二、将此脚本传输到各个DB服务器，并修改其中的慢日志文件所在目录

三、各台服务器创建密钥，并传输给管理ip，可以免密码传输文件

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
ssh-copy-id -i .ssh/id_rsa.pub "-p 22000 ****@10.13.**.**"

四、添加到定时任务中

crontab -e
#慢日志统计、传输文本
59      23      *       *       *       /bin/bash /monitor/slow_pt.sh

2、管理IP操作

1、创建一个管理文件夹操作的py文件

vi dir_operate.py
#!/usr/bin/python
# -*- coding: UTF-8 -*-
import os

# 创建文件夹
def mkdir(path):
    # 去除首位空格
    path=path.strip()
    # 去除尾部  符号
    path=path.rstrip("\")

    # 判断路径是否存在
    # 存在     True
    # 不存在   False
    isExists=os.path.exists(path)

    # 判断结果
    if not isExists:
        # 如果不存在则创建目录
        # 创建目录操作函数
        os.makedirs(path)
        return True

# 删除文件、文件夹
def deldir(path):
    os.system("rm -fR %s" %path)

#打包文件
def packdir(packfile,path):
    os.system("cd /pt_log && tar -zcvPf %s %s" %(packfile,path))

二、 创建邮件发送的py文件

vi mail_send.py
#!/usr/bin/python
# -*- coding: UTF-8 -*-

import smtplib
from email.mime.text import MIMEText
from email.mime.multipart import MIMEMultipart
from email.header import Header
from email.mime.application import MIMEApplication

def mail_send(send_day,send_file):
    # 第三方 SMTP 服务
    mail_host="smtp.exmail.qq.com"  #设置服务器
    mail_user="***@*****.com"    #用户名
    mail_pass="*****"   #口令
    
    sender = '***@****.com'
    receivers = ['***@****.com']  # 接收邮件，可设置为你的QQ邮箱或者其他邮箱
    
    #创建一个带附件的实例
    message = MIMEMultipart()
    message['From'] = Header("慢日志采集", 'utf-8')
    message['To'] =  Header("***", 'utf-8')
    subject = '每日慢日志汇总'
    message['Subject'] = Header(subject, 'utf-8')
    
    #邮件正文内容
    message.attach(MIMEText('这是%s的慢日志信息' %send_day, 'plain', 'utf-8'))
    
    path = r'%s' %send_file
    mp3part = MIMEApplication(open(path, 'rb').read())
    mp3part.add_header('Content-Disposition', 'attachment', filename='%s.tar.gz' %send_day)
    message.attach(mp3part)
    
    
    try:
        smtpObj = smtplib.SMTP()
        smtpObj.connect(mail_host, 25)    # 25 为 SMTP 端口号
        smtpObj.login(mail_user,mail_pass)
        smtpObj.sendmail(sender, receivers, message.as_string())
        print "邮件发送成功"
    except smtplib.SMTPException, e:
        print "Error: 无法发送邮件"
        print str(e)
    

三、建立汇总发送py文件

vi slow_send.py
#!/usr/bin/python
# -*- coding: UTF-8 -*-
#作者：***
#日期：18-05-02
#功能：创建当天的文件夹、删除15天前的文件夹、打包并发送昨天的慢日志
import time
import datetime
import dir_operate
import mail_send

cur_date = time.strftime('%y%m%d',time.localtime(time.time())) #当前日期，格式180428

#昨天日期
#先获得时间数组格式的日期
OneDayAgo = (datetime.datetime.now() - datetime.timedelta(days = 1))
#转换为时间戳:
timeStamp = int(time.mktime(OneDayAgo.timetuple()))
#转换为其他字符串格式:
OneStyleTime = OneDayAgo.strftime("%y%m%d")

#十五天前日期格式
#先获得时间数组格式的日期
FifteenDayAgo = (datetime.datetime.now() - datetime.timedelta(days = 15))
#转换为时间戳:
timeStamp = int(time.mktime(FifteenDayAgo.timetuple()))
#转换为其他字符串格式:
FifteenStyleTime = FifteenDayAgo.strftime("%y%m%d")

#创建今天文件夹 
mkpath = "/pt_log/%s" %cur_date
dir_operate.mkdir(mkpath)

#删除15天前文件
delpath = "/pt_log/%s*" %FifteenStyleTime
dir_operate.deldir(delpath)

#打包昨天的慢日志
pack_file = "%s.tar.gz" %OneStyleTime
pack_dir = "%s" %OneStyleTime
dir_operate.packdir(pack_file, pack_dir)

mail_send.mail_send(OneStyleTime,'/pt_log/%s' %pack_file)

4、添加执行计划

 crontab -e
#每天创建、发送慢日志
02      01      *       *       *       /monitor/./slow_send.py

 注：

　　DB服务器选择sh的原因是其对免密码传输文件的处理。在管理服务器中，我没权限yum安装，所以python的扩展无法使用。管理服务器中选择Python的原因在于其对邮件的处理，同样是权限问题，无法配置mail，所以无法使用sh