zoukankan      html  css  js  c++  java
  • 手把手教你三步完成测试监控系统搭建

    点击蓝字关注这个神奇的公众号~

    笔者所在的项目组有多个测试环境,偶尔会出现由于程序错误导致负载飙升或日志打满磁盘的问题。基于早发现、早治疗的原则,我们可以构建一个web应用,从而对服务器的负载及磁盘空间进行监控。在本文中,前端我们使用易于上手的Vue、饿了么开源的Element以及百度的Echarts,后端接口使用基于Python的Flask框架。

    No.1

    搭建前端框架

    我们将使用Vue CLI产生基本Vue.js App。如果你还没有安装它,请参考:https://cli.vuejs.org/zh/guide进行安装,然后使用Vue CLI快速创建一个应用,如:$ vue create server-monitor

    在选择了一些配置项并经过漫长等待之后,Vue CLI会建好相应文件夹,打开这个文件夹,并执行$vue add element、$npm install vue-echarts –save、$npm install axios –save以添加element、vue-echarts和axios。

    同样,在选择了一些配置项并经过等待之后,可以看到添加成功的提示,下图以element为例:

    此时,执行$ npm run serve会在本地的8080端口启动服务,打开浏览器并输入地址,可以看到这样的一个页面,这表明Vue+Element的环境已经搭建成功了:

    此时,我们在项目文件夹运行$ npm run build可以生成一个包 。

    No.2

    后端服务

    接下来,我们开始编写我们的后端服务,在前端项目同级文件夹新建一个文件夹backend,在backend文件夹内新建一个文件run.py,并粘贴下方代码:

    from flask import Flask, render_template
    app = Flask(__name__,
    static_folder = "../server-monitor/dist",
    static_url_path="",
    template_folder = "../server-monitor/dist")
    @app.route('/')
    def index():
        return render_template("index.html")
    if __name__ == '__main__':
        app.run(host='0.0.0.0', port=5000, debug=True)

    在backend文件夹执行$ python run.py可以启动后端服务,默认端口为5000,在浏览器中输入localhost:5000,如果一切正确,你将见到熟悉的欢迎界面,但这一次是由flask路由的页面。 

    接下来,我们编写业务代码。我们的需求是:远程连接一台服务器,获取该服务器的负载和磁盘使用空间,存到本地数据库以返回给前端页面。

    首先,我们需要一个配置文件以保存服务器密码,我们使用configparser这个包来实现这个功能。在backend文件夹新建一个文件monitor.config,并写入服务器连接密码:

    [config]
    SERVER_PASS=123456

    而对于数据的存取,我们使用sqlite作为数据库,peewee这个包作为ORM,本文中我们建了包含磁盘容量、已用容量和更新时间的表”system_disk_monitor”和包含当前负载、用户连接数、更新时间的表”system_uptime”。sqlite数据库文件保存在backend目录下:

    接着,我们开始编写后端的业务代码。代码逻辑是使用paramiko这个包连接服务器、执行命令,在获得所需数据后对数据进行处理后保存在数据库,本文中我们获取了磁盘空间、磁盘已使用空间、当前连接数和15分钟的平均负载这四个数据。对于服务器的连接和执行命令,可以这样编写代码:

        ssh = paramiko.SSHClient()
        ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
        ssh.connect('192.168.199.208'22'pi', SERVER_PASS) # SERVER_PASS应为configparser所读取的服务器密码
        stdinstdout, stder = ssh.exec_command('df')
        occupation_result_list = stdout.read().decode(encoding="utf-8",errors="strict").split(' ')
        stdinstdout, stder = ssh.exec_command('uptime')
        uptime_result_list = stdout.read().decode(encoding="utf-8",errors="strict").split(' ')
        ssh.close() 

    需要注意的是,由于笔者手头并无个人服务器,这里使用了一台树莓派作为演示,对于截取目标字段,不同服务器可能不同,需要灵活操作。此外,如果需要监控的服务器就是应用部署的服务器,那么psutil不失为更优雅的选择。对于Windows系统,我们可以使用“Windows定时任务”来定时运行此文件以不断获得数据;对于Linux系统,我们则可以使用crontab。

    执行获取数据的代码后,在数据库中,我们就可以看到数据已经成功保存了:

    接下来,我们编写flask后端接口。新增一个路由:

    @app.route('/systemMonitor', methods=['GET'])
    def systemMonitor():
        result = {}
        system_disk_monitor_query = system_disk_monitor.select().order_by(
            -system_disk_monitor.id).limit(1).dicts()
        result['disk']={}
        for row in system_disk_monitor_query:
            result['disk']['size'] = row['size']
            result['disk']['used'] = row['used']
            result['time']=row['update_time']
        system_uptime_query = system_uptime.select().order_by(-system_uptime.id).limit(60).dicts()
        i = 0
        result['uptime']={}
        result['uptime']['average']=[]
        result['uptime']['time']=[]
        for row in system_uptime_query:
            result['uptime']['average'].append(row['average'])
            result['uptime']['time'].append(row['update_time'].strftime('%H:%M'))
            i += 1
        return jsonify(result)

    这段代码将获取数据库内保存的数据,将其生成json后返回给前端,再次运行$ python run.py并访问http://localhost:5000/systemMonitor,可见接口可以成功返回数据:

    No.3

    前端业务代码

    然后,我们编写前端业务代码,修改的文件为server-monitorsrcApp.vue。可以在vue实例生命周期的mounted中使用axios调用后端接口并绑定数据: 

      mounted() {
        axios({
            method: "GET",
            url: "http://localhost:5000/systemMonitor"
          }).then(data => {
              this.update_time = data.data["update_time"]
              this.info1.conn = data.data["user"]
              this.pie1.series[0].data[0].name = '已使用' + data.data["disk"]["used"] + 'G'
              this.pie1.series[0].data[0].value = data.data["disk"]["used"]
              this.pie1.series[0].data[1].name = '剩余' + (data.data["disk"]["size"] - data.data["disk"]["used"]) + 'G'
              this.pie1.series[0].data[1].value = data.data["disk"]["size"] - data.data["disk"]["used"
              this.line1.xAxis.data = data.data["uptime"]["time"].reverse()
              this.line1.series[0].data = data.data["uptime"]["average"].reverse()
            })
      }

    完成App.vue后,在server-monitor下重新执行$ npm run build,这将构建一个新的包,然后刷新localhost:5000页面,如果一切正确,你将看到数据准确显示的页面:

    No.4

    后续

    在实际应用中,我们可能有多台服务器需要进行监控,并且需要增加诸如邮件告警等功能,这时可能接口结构、数据库表结构、以及代码逻辑都需要修改,有兴趣的读者可以自行尝试,本文完整代码可以参见https://github.com/shr1213/VueServerMonitor。

    Qtest是360旗下的专业测试团队!

    是WEB平台部测试技术平台化、效率化的先锋力量!

    陪伴是最长情的告白

    每日为你推送最in的测试技术

    识别二维码

    关注我们

  • 相关阅读:
    20191017-1 每周例行报告
    20191010-2 每周例行报告
    20190919-1 每周例行报告
    彭思雨20190919-3效能分析
    zipfile
    subprocess
    configparser
    hashlib
    json & pickle
    headpq
  • 原文地址:https://www.cnblogs.com/finer/p/12061254.html
Copyright © 2011-2022 走看看