初识python 之 爬虫：爬取中国天气网数据

用到模块：

获取网页并解析：
import requests,html5lib
from bs4 import BeautifulSoup

使用pyecharts的Bar可视化工具“绘制图表”，写入HTML文件，附pyecharts官方中文API地址：https://pyecharts.org/#/
from pyecharts.charts import Bar

表格主题设置：
from pyecharts import options
from pyecharts.globals import ThemeType

获取时间
from datetime import datetime

详细代码如下：　　注：代码中有使用到map函数，需要留意！

#!/user/bin env python
# author:Simple-Sir
# time:2019/7/25 21:16
# 爬取中国天气网数据

import requests,html5lib
from bs4 import BeautifulSoup
from pyecharts.charts import Bar  # 官方已取消 pyecharts.Bar 方式导入
from pyecharts import options
from pyecharts.globals import ThemeType
from datetime import datetime

WEARTHER_DATE =[]  # 城市天气数据列表

def urlText(url):
    '''
    获取网页HTML代码，并解析成文本格式
    :param url: 网页url地址
    :return: 解析之后的html文本
    '''
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'
    }
    respons = requests.get(url, headers=headers)  # 获取网页信息
    text = respons.content.decode('utf-8')  # 解析网页
    return text

def getDiv(url,area):
    '''
    获取需要的html标签：城市、最高温度
    :param url:
    :param area: 区域：全国、全省(四川)  0:全国、其他任意值：全市
    :return:
    '''
    text = urlText(url)
    # soup = BeautifulSoup(text,'lxml') # 港澳台html中table标签解析错误
    soup = BeautifulSoup(text, 'html5lib')  # html5lib 容错性比lxml高
    conMidtab = soup.find_all('div',class_="conMidtab")[1]  # 获取“明天”的天气
    if area == '四川':
        # 获取四川所有城市天气
        trs = conMidtab.find_all('tr')[2:]
        for tr in trs:
            tds = tr.find_all('td')
            city_td = tds[0]
            city = list(city_td.stripped_strings)[0]  # 区县
            temp_td = tds[-5]  # 倒数第5个td标签
            temp = list(temp_td.stripped_strings)[0]  # 最高温度
            print('正在获取 {} 的最高气温:{}'.format(city, temp))
            WEARTHER_DATE.append({'城市': city, '最高温度': int(temp)})
    else:
        # 获取全国城市天气
        tables = conMidtab.find_all('table')
        for t in tables:
            trs = t.find_all('tr')[2:]
            for index, tr in enumerate(trs):
                tds = tr.find_all('td')
                if index == 0:
                    city_td = tds[1]  # city_td = tds[-8]  # 港澳台格式错误
                else:
                    city_td = tds[0]
                city = list(city_td.stripped_strings)[0]  # 区县
                temp_td = tds[-5]  # 倒数第5个td标签
                temp = list(temp_td.stripped_strings)[0]  # 最高温度
                print('正在获取 {} 的最高气温:{}'.format(city,temp))
                WEARTHER_DATE.append({'城市': city, '最高温度': int(temp)})


# 可视化数据，对城市温度排名
# def getRownum(data):
#     max_temp = data['最高温度']  # 把列表里的每一项当作参数传进来,再获取“最高温度”这一项的值
#     return max_temp
# WEARTHER_DATE.sort(key=getRownum)  # 功能和它一样：WEARTHER_DATE.sort(key=lambda data:data['最高温度'])

def main():
    city_list =['hb','db','hd','hz','hn','xb','xn','gat','sichuan']
    getcity = input('您要获取“全国”还是“四川”的最高温度排名？
')
    if getcity=='四川':
            url = 'http://www.weather.com.cn/textFC/{}.shtml'.format(city_list[-1])
            getDiv(url,getcity)
    else:
        for cl in city_list[:-1]:
            url = 'http://www.weather.com.cn/textFC/{}.shtml'.format(cl)
            getDiv(url,getcity)
    print('正在对天气温度进行排序处理...')
    WEARTHER_DATE.sort(key=lambda data: int(data['最高温度']))  # 对列表中的字典数据排序,温度从低到高
    WEARTHER_DATE.reverse()  # 把对列表反转，温度从高到低
    rownum = WEARTHER_DATE[:10]  # 获取最高温度排名前十的城市
    print('正在绘制图表...')
    # 分别获取城市、温度列表
    # 原始方法：
    # citys=[]
    # temps=[]
    # for i in rownum:
    #     citys.append(i['城市'])
    #     temps.append(i['最高温度'])

    # 高端方法：
    citys = list(map(lambda x: x['城市'], rownum))  # 使用map分离出城市
    temps = list(map(lambda x: x['最高温度'], rownum))  # 使用map分离出最高温度
    # 通过使用pyecharts的Bar可视化数据，附官方中文API地址：https://pyecharts.org/#/
    bar = Bar(init_opts = options.InitOpts(theme=ThemeType.DARK))  # 对表格添加主题
    bar.add_xaxis(citys)
    bar.add_yaxis('',temps)
    tim = datetime.now().strftime('%Y-%m-%d')
    bar.set_global_opts(title_opts={'text':'中国天气网 {} 城市明日最高温度排名前十({})'.format(getcity,tim)})
    bar.render('中国天气网城市最高温度排名.html')
    print('图表绘制已完成，结果已写入文件，请查看。')
if __name__ == '__main__':
    main()

执行过程：

执行结果：

四川：

全国：