python应用：爬虫实例(动态网页)

以爬取搜狗图片为例，网页特点：采用“瀑布流”的方式加载图片，图片的真实地址存放在XHR中

#-*-coding:utf8-*-
import requests
import urllib
import json
import math
import os
 
class SG:
    def __init__(self,pic_num):
        self.num = pic_num
        self.user_agent = 'Mozilla/5.0 (Windows NT 6.1; W…) Gecko/20100101 Firefox/61.0'      #请求头属性（模拟浏览器访问）
        self.headers = {'User-Agent' : self.user_agent}

    def get_img(self):
        end = int(math.ceil(float(self.num)/48))
        #print end
        name = 1
        #获取图片真实地址并保存到本地文件夹
        for start in range (0,end):
            url = 'http://pic.sogou.com/pics?query=%B1%DA%D6%BD&mode=1&dm=4&cwidth=1920&cheight=1080&start='+str(start)+'&reqType=ajax&reqFrom=result&tn=0'
            imgs = requests.get(url,params=self.headers)
            #print imgs
            #搜狗图片真实地址存放在XHR中，访问发现是json文件，故解析json文件
            jd = json.loads(imgs.text)
            jd = jd['items']    #所有图片的信息都存在item数组中
            imgs_url = []
            for j in jd:
                if "=" not in j['pic_url']:  #图片真实地址则存放在item元素中pic_url中
                    imgs_url.append(j['pic_url'])
                else:
                    print j['pic_url']
            #print len(imgs_url)
            
            for img_url in imgs_url:
                #新建文件夹
                if not os.path.exists('picture'):
                    os.makedirs('picture')
                print img_url

                #保存图片到本地文件夹
                print('**********'+str(name)+'_1.jpg*********'+'      Downloading')
                #方法1
                urllib.urlretrieve(img_url,'picture\'+str(name)+'_1.jpg')
                
                print('**********'+str(name)+'_2.jpg*********'+'      Downloading')
                #方法2  'wb'以二进制方式写数据
                with open('picture\'+str(name)+'_2.jpg','wb') as f:
                    f.write(requests.get(img_url,params=self.headers,allow_redirects=False).content)

                name += 1
                        
        print('Download complete!')

SG(100).get_img()
                
                

 使用方法二时，如果使用参数allow_redirects=False,容易导致下载内容为空的情况；如果不使用该参数（默认是True），则容易导致页面重定向过多的错误。具体使用时，根据情况选择是否使用