爬虫实战2：爬头条网美图--Ajax图片加载处理

完整代码经测试可成功运行，目的是抓取头条网输入街拍后的图片，涉及的知识点如下

1. md5加密使用方法

方法1：不创建实例对象，直接使用
>>> from hashlib import md5
>>> md5('hong'.encode('utf-8')).hexdigest()
'88163c52fdb7520d2da5295dcb52bff0'
 
 
方法2：创建实例对象的方法
>>> a=md5()
>>> a.update('hong'.encode('utf-8')  # update函数生成摘要信息
>>> a.hexdigest()    # hexdigest函数输出16进制的32位摘要信息
'88163c52fdb7520d2da5295dcb52bff0'

每一个数据的摘要信息都是独一无二的，用于安全加密

 

注意：

方法2中如果重复执行接着执行mymd5.update('hong'.encode('utf-8'))和mymd5.hexdegest()，发现2次输出值是不一样的。按理所相同的字符串数据结果应该一样，为什么呢？

经测试发现，两次执行md5.update()函数，会把字符串进行拼接 ，第二次相当于执行mymd5.update('honghong'.encode('utf-8'))，为了消除这种错误，需要 每次使用update之前~都要重新定义：mymd5=hashilib.md5()

 

 

 

 

下面代码中有几个问题点不明白

1. 查看头信息，参数表和代码中params有些不同，不知道代码中的参数是怎么来的

offset: 40
format: json
keyword: 街拍
autoload: true
count: 20
cur_tab: 1
from: search_tab

2. 第51行代码不明白

new_image_url = local_image_url.replace('list','large')

说明：经验证，//p3.pstatp.com/list/pgc-image/153077042661778985015b6这个地址是返回一个图片的缩小版，如果把地址中的list改为large就能变成大图。

 下面的代码有个缺陷： 每组图都只能爬取前四张图，暂时不知道怎么解决

完整代码如下

import os
import requests
from urllib.parse import urlencode
from hashlib import md5
from multiprocessing.pool import Pool

GROUP_START = 1
GROUP_END = 5


def get_page(offset):
    params = {
        'offset': offset,
        'format': 'json',
        'keyword': '街拍',
        'autoload': 'true',
        'count': '20',
        'cur_tab': '3',
        'from': 'gallery',
    }
    url = 'https://www.toutiao.com/search_content/?' + urlencode(params)  #这里的url要写头信息里面的Request URL
    try:
        response = requests.get(url)
        if response.status_code == 200:
            return response.json()   #调用json方法，将结果转为json格式
    except requests.ConnectionError:
        return None


def get_images(json):
    data = json.get('data')   #参数'data'字段来自于网页分析 XHR中的preview选项卡，里面有data字段
    if data:
        for item in data:
            # print(item)
            image_list = item.get('image_list')
            title = item.get('title')
            # print(image_list)
            if image_list:
                for image in image_list:
                    yield {
                        'image': image.get('url'),
                        'title': title
                    }


def save_image(item):
    if not os.path.exists(item.get('title')):
        os.mkdir(item.get('title'))
    try:
        local_image_url = item.get('image')
        new_image_url = local_image_url.replace('list','large')
        response = requests.get('http:' + new_image_url)
        if response.status_code == 200:
            file_path = '{0}/{1}.{2}'.format(item.get('title'), md5(response.content).hexdigest(), 'jpg')
            if not os.path.exists(file_path):
                with open(file_path, 'wb')as f:
                    f.write(response.content)
            else:
                print('Already Downloaded', file_path)
    except requests.ConnectionError:
        print('Failed to save image')


def main(offset):
    json = get_page(offset)
    for item in get_images(json):
        print(item)
        save_image(item)


if __name__ == '__main__':
    pool = Pool()
    groups = ([x * 20 for x in range(GROUP_START, GROUP_END + 1)])
    pool.map(main, groups)
    pool.close()
    pool.join()