疫情数据爬取及数据可视化

新型冠状病毒来袭，在此全国人民齐心抗疫之际，身为软件工程专业的一员，也要充分发挥专业能力，为疫情做点什么。

到目前为止，很多网站或者APP都新增了疫情数据分析这样一个栏目，这样一个专栏帮助用户充分了解全国各地乃至全世界的疫情情况，今天就特地做了这样的一个实战项目，来实现疫情数据的实时可视化。

首先，设计思路如下：

（1）使用爬虫爬取网站中的数据并存入数据库

（2）使用java做后端将数据库的内容传送到前端

（3）前端使用echarts框架对数据进行可视化

在爬取数据的时候，还是经历了一些小插曲，我爬取的网站如下：

https://news.qq.com/zt2020/page/feiyan.htm#/

首先就是按照爬虫套路查看网页源代码，可以看到效果如下：

很容易发现，class为areaBox的 tr 标签中保存的是各省的数据，其中的area为省份名称，其余不包含class的 td保存的是疫情的各项人数，而class为 city 的tr中保存的是各个城市的数据，其中，area为城市名称，其余td保存的疫情各项的人数。

在这样的简单分析之后，顿时感觉这实在是太小儿科了，两个嵌套for循环就可以搞定，于是开始编写爬虫，初始测试爬虫代码如下：

import requests
from bs4 import BeautifulSoup

url = "https://news.qq.com/zt2020/page/feiyan.htm#/"
r = requests.get(url)

html = r.text
soup = BeautifulSoup(html,"lxml")
print(soup.prettify())

运行之后，打印数据是这样的

只有一坨 js 代码还有页面头部的几个div，并没有找到我们想要的标签。迟疑了一瞬间，恍然醒悟数据应该是通过js发送请求之后从后台传回来的。直接看这一段HTML代码，果然什么都看不出来。没办法，F12去浏览器控制台看看到底发生了什么数据交换的操作吧。（微软的浏览器用的有点鸡肋，这里切一下Chrome）可以看到服务器返回了这些数据：

可以看到除了无关紧要的png图片等资源，还返回了这样一堆js文件，一看名字，这些get***Info可能就是我们需要的，检查一下它的地址，然后复制打开

瞬间激动了有木有！！这不就是现成的json数据么，还分析个球的HTML标签，直接爬起来！！！

（激动过头了）先分析一下json的格式和我们需要的“树”，首先可以看到开头有个name 中国的字样，由于该网站支持其他国家的数据，如下：

所以我们解析json的时候就要通过它来筛选本国的数据，那么，在中国下面，又有这样一些数据：

很显然，在name的子数据中，key为children的数据就是对应的各省份的数据（其他省份格式相同，不再给出截图），与此同时，在省份下面的各个城市，同样是以children标签保存数据的

以武汉为例，today中是今日新增的确诊，total中是截止到目前的总人数，也是我们需要的数据，简单翻译可知，confirm为确诊人数，dead为死亡人数，heal为治愈人数，那么数据的更新时间在哪儿呢？json开头我们可以看到这样的字样：

在该文件的其余地方均没有类似时间字样的key，不难推断出，它就是最新的数据更新时间。

OK，到此为止，分析完成，代码搞起来！

import requests
import json
from pymysql import *

#连接数据库的方法
def connectDB():
    try:
        db=connect(host='localhost',port=3306,user='root',password='010218',db='payiqing_db')
        print("数据库连接成功")
        return db
    except Exception as e:
        print(e)
    return NULL

db=connectDB()

#向数据库中插入数据的方法
def insertInformation(db,table,Date,Province,City,Confirmed_num,Yisi_num,Cured_num,Dead_num,Code):
    cursor=db.cursor()
    try:
        cursor.execute("insert into %s(Date,Province,City,Confirmed_num,Yisi_num,Cured_num,Dead_num,Code) values('%s','%s','%s','%s','%s','%s','%s','%s')" % (table,Date,Province,City,Confirmed_num,Yisi_num,Cured_num,Dead_num,Code))
        print("插入成功")
        db.commit()
        cursor.close()
        return True
    except Exception as e:
        print(e)
        db.rollback()
    return False

def queryInformation(city):
    cursor = db.cursor()
    sql = "SELECT * FROM info WHERE City =  '%s'" % (city)
    try:
        # print(sql)
        # 执行SQL语句
        cursor.execute(sql)
        # 获取所有记录列表
        results = cursor.fetchone()
        return results[-1]
    except Exception as e:
        print(e)
        db.rollback()

def clearTable(date):
    cursor = db.cursor()
    sql="delete from info2 where Date = '%s'"% (date)
    try:
        print(sql)
        # 执行SQL语句
        cursor.execute(sql)
    except Exception as e:
        print(e)
        db.rollback()

def get_data():
    url = 'https://view.inews.qq.com/g2/getOnsInfo?name=disease_h5'
    json_text = requests.get(url).json()
    data = json.loads(json_text['data'])
    update_time = data['lastUpdateTime']
    all_counties = data['areaTree']
    all_list = []
    for country_data in all_counties:
        if country_data['name'] == '中国':
            all_provinces = country_data['children']
            for province_data in all_provinces:
                province_name = province_data['name']
                all_cities = province_data['children']
                for city_data in all_cities:
                    city_name = city_data['name']
                    city_total = city_data['total']
                    province_result = {'province': province_name, 'city': city_name,'update_time': update_time}
                    province_result.update(city_total)
                    all_list.append(province_result)

    clearTable(all_list[0].get("update_time"))
    for info in all_list:
        print(info)
        insertInformation(db,"info2",info.get("update_time"),info.get("province"),info.get("city"),info.get("confirm"),info.get("suspect"),info.get("heal"),info.get("dead"),queryInformation(info.get("city")))



if __name__ == '__main__':
    get_data()

以上代码包含数据库的更新，读者可根据自己数据库的配置自行修改。

然后就是数据可视化了，这里只给出截图吧，完整代码后续会上传到我的GitHub中。

最后，附上实现本次项目的PSP表格