3、爬取干货集中营的福利图片

#!/usr/bin/env python
#-*- coding: utf-8 -*-

import json
import urllib
import requests


# 指定url路径,经过查看url获取的信息:0/0是全部的json信息
pre_url = "http://gank.io/api/data/福利/0/0"

# http://gank.io/
# 分类数据: http://gank.io/api/data/数据类型/请求个数/第几页
# 数据类型： 福利 | Android | iOS | 休息视频 | 拓展资源 | 前端 | all
# http://gank.io/api/data/福利/10/1
# 请求个数： 数字，大于0
# 第几页：数字，大于0



# 图片路径列表，有些图片地址是https的，爬取的话需要验证证书,不爬取https开头的图片
http_image_list = []
#https_image_list = []

# 1.获取路径的json数据
response = requests.get(pre_url).text
# 2.jsong格式转换成字符串
data_dict = json.loads(response)
# 3.获取图片地址数量
num = len(data_dict['results'])
for i in range(0,num):
    url_web = data_dict['results'][i]['url']
    # http开头的图片路径
    if url_web.split(':')[0] == 'http':
        http_image_list.append(url_web)
    # https开头的图片路径
    # if url_web.split(':')[0] == 'https':
    #     https_image_list.append(url_web)

# 保存图片地址为文件
with open('http_image.txt','w') as obj:
     data = json.dumps(http_image_list)
     obj.write(data)
     
# with open('https_image.txt','w') as obj:
#     data = json.dumps(https_image_list)
#     obj.write(data)

# 图片保存路径
http_save_path = "D:\zipai\"

# 具体格式可以调整
for x in range(0, 304):
    urllib.request.urlretrieve(http_image_list[x], http_save_path + str(x) + '.jpg')
    print('保存http第%s张图片' % x)

# 网站有反爬机制，爬取到303个时被拦截报错，此时，翻转过来，倒着爬取
rev = http_image_list[::-1]

for x in range(0, 267):
    urllib.request.urlretrieve(rev[x], http_save_path + str(x+304) + '.jpg')
    print('保存http第%s张图片' % x)