PyQuery爬取历史天气信息

1.准备工作：

　　网址：https://lishi.tianqi.com/xian/index.html

　　爬虫类库：PyQuery,requests

2.网页分析：

红线部分可更改为需要爬取的城市名，如：beijing

红框选中部分即为我们所需要爬取的每个月份的信息. 目测应该是ui li,使用Chrome F12 查看下源代码

PyQuery的css 选择器可以起床了..

莫慌莫慌。在瞅瞅具体月份点击进入后的页面效果

　　

所有的具体每一天的天气信息都被包裹在ul li..

PyQuery.. 开工..

# 获取所有的月份的a标签连接。
def get_html():
    links = []
    url = 'https://lishi.tianqi.com/xian/index.html'
    r1 = requests.get(url,headers)
    html_doc = pq(r1.text)
    ul = html_doc('.tqtongji1 > ul:nth-child(1)')
    lis = ul('li').items()
    for li in lis:
        a = li('a')
        links.append(a.attr('href'))
    return links

# 获取详细页的具体天气信息
def get_detail(url):
    r1 = requests.get(url,headers)
    html_doc = pq(r1.text)
    uls = html_doc('.tqtongji2').find('ul')
    lis = uls.items('li')
    list = []
    l = '.'.join(li.text() for li in lis).split('.')
    # 由于标题信息只有['日期', '最高气温', '最低气温', '天气', '风向', '风力']所以需要字符串截取
    for i in range(len(l)):
        if i%6 == 0:
            temp = l[i:i+5]
            list.append(temp)
    return list

# 保存至weather.csv
def save_to_csv(data):
    with open('weather.csv','a') as csv_file:
        writer = csv.writer(csv_file)
        for row in data:
            writer.writerow(row)

 考虑到需要源代码的小伙伴, 已上传至github.. https://github.com/shinefairy/spider/

git clone https://github.com/shinefairy/spider

end~