Python爬虫学习（2）

爬取网页异步js渲染的数据，个人想到两种思路：

1、模拟请求得到返回的json数据，解析后爬取需求数据。

2、模拟浏览器加载完成后再正则匹配获取页面需求数据。

下面是第一种方法练习代码，后续学习中。。。

# !/usr/bin/env python
# -*- coding: UTF-8 -*-
# addUser: Gao
# addTime: 2018-01-28 22:06
# description: python爬虫练习 获取js渲染的数据

import urllib, urllib2, json, os

# 获取数据保存路径
FileName = 'Download/BiliBili'

# 初始化当前页码
Page = 1

"""
请求页面数据
"""
def parseUrl():
    url = "https://bangumi.bilibili.com/web_api/season/index_global?page=1&page_size=20&version=0&is_finish=0&start_year=0&tag_id=81&index_type=1&index_sort=0&quarter=0"
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36"
    }
    parameters = {
        'page': Page,
        'page_size': 20,
        'version': 0,
        'is_finish': 0,
        'start_year': 0,
        'tag_id': 81,
        'index_type': 1,
        'index_sort': 0,
        'quarter': 0,
    }
    data = urllib.urlencode(parameters)
    request = urllib2.Request(url, data=data, headers=headers)
    response = urllib2.urlopen(request)
    js_data = response.read()
    content = json.loads(js_data)
    list = content['result']['list']
    for row in list:
        saveImg(row['cover'], row['title']+'.jpg')


"""
保存图片
"""
def saveImg(imgUrl, imgName='img.jpg'):
    # 图片路径
    imgPath = os.path.join(FileName, imgName)

    # 获取路径下图片信息
    req = urllib2.urlopen(imgUrl)
    buf = req.read()

    # 写入文件
    with open(imgPath, 'wb+') as f:
        f.write(buf)


"""
判断文件夹是否存在
"""
if not os.path.exists(os.path.join(os.getcwd(), FileName)):
    # 新建文件夹
    os.mkdir(os.path.join(os.getcwd(), FileName))

parseUrl()