一，数据爬取和数据入库
.本人因为练习需要学习python 进行数据爬取 所以在网上寻找相关的教学视频进行学习
目前python 用到的只是 requests 里的一些方法和 json 格式的转换 还有就是数据库的添加操作
编写过程中有问题的就是sql 的执行 我使用的是一个json 集合，但是当像Java web 一样使用sql 语句时出现了问题 :
数据库的表中对多个操作数无法实现同时操作（添加）， 故寻找许久找到方法：
使用 cursor 的excusemany 方法 前一个为sql 语句 后一个为 json 数据集和
cursor.executemany(sql,data)
1 # 爬取腾讯的每日疫情数据 2 3 import requests 4 import json 5 import pymysql 6 7 def get_tencent_data(): 8 """ 9 爬取目标网站的目标数据 10 :return: json 类型数据集合 11 """ 12 #需要爬取的数据网址 13 url="https://view.inews.qq.com/g2/getOnsInfo?name=disease_h5" 14 headers ={ 15 #用户代理 一个反爬取措施 16 "user-agent": "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Mobile Safari/537.36" 17 } 18 19 r=requests.get(url,headers) 20 res=json.loads(r.text) #第一级转换 json 字符转换为字典 21 data_all =json.loads(res["data"]) 22 details = [] 23 24 """ 25 获取的数据类型如下： 26 lastUpdateTime 最后更新时间 27 chinaTotal 总数 28 chinaDayList 历史记录 29 chinaDayAddList 历史新增记录 30 areaTree:-name areaTree[0] 中国数据 31 -today 32 -total 33 -children：-name 省级数据，列表 json类型 34 -today 35 -total 36 -chilidren：-name 市级数据 列表 37 -today 38 -total 39 在上面的url当中 已经没有疫情历史数据 可以在https://view.inews.qq.com/g2/getOnsInfo?name=disease_other 查询 40 """ 41 42 update_time=data_all["lastUpdateTime"] 43 data_country=data_all["areaTree"] #lsit集合 47 个国家 44 data_province =data_country[0]["children"] #中国各省 45 46 for pro_infos in data_province: 47 province= pro_infos["name"] #省名 48 # print(province) 49 for city_infos in pro_infos["children"]: 50 city = city_infos["name"] 51 confirm = city_infos["total"]["confirm"] 52 confirm_add=city_infos["today"]["confirm"] 53 heal= city_infos["total"]["heal"] 54 dead=city_infos["total"]["dead"] 55 details.append([update_time,province,city,confirm,confirm_add,heal,dead]) 56 return details 57 58 59 def get_conn(): 60 """ 61 建立数据库连接 62 :return: 63 """ 64 conn=pymysql.connect( 65 #本机IP地址 66 host='127.0.0.1', 67 #数据库用户名 68 user='root', 69 #密码 70 password='101032', 71 #需要操作的数据库名称 72 db='db_database06', 73 ) 74 #cursor对象 可以进行sql语句执行 和 获得返回值 75 cursor=conn.cursor() 76 return conn,cursor 77 78 79 def close_conn(conn,cursor): 80 """ 81 关闭连接 82 :param conn: 连接对象 83 :param cursor: cursor对象 84 :return: 85 """ 86 if cursor: 87 cursor.close() 88 if conn: 89 conn.close() 90 91 92 def update_yiqingdata(): 93 """ 94 更新每日数据 95 :return: 96 """ 97 #获取连接 98 conn,cursor=get_conn() 99 #获取数据 100 data=get_tencent_data() 101 #sql语句 对数据库进行操作 102 sql = "insert into infos(updatetime,province,city,confirm,confirmadd,heal,dead) values(%s,%s,%s,%s,%s,%s,%s)" 103 try: 104 #执行sql语句 105 cursor.executemany(sql,data) 106 conn.commit() 107 except: 108 conn.rollback() 109 close_conn(conn,cursor) 110 111 #调用函数 112 update_yiqingdata()
二，可视化显示：
效果展示：
地图代码 请参见： --> 点我惊喜
只是将上次的数据查询sql 语句更改一些，并对 Echart 格式进行些许修改即可