Ajax爬取动态数据和HTTPS自动默认证书

Ajax数据爬取

　　在spider爬取数据的过程中，有些网页的数据是利用Ajax动态加载出来的，所以，在网页源代码中可能不会看到这一部分的数据，因此，我们需要使用另外的方式进行数据多爬取。

　　以豆瓣电影的网页源码获取为例 https://movie.douban.com/ ，我们查看网页源代码，会发现网页中所包含的数据根本不在源代码中，比如查询囧妈，会显示查询结果为0。这时候我们就要注意他可能是使用Ajax进行动态加载的数据。

　　F12进入开发者工具，按照下图步骤进行查看

 　　双击第3步骤中的链接，会发现有一些tag标签，最后会发现有一些数据包含其中。

 

　　有数据的这些连接就是Ajax动态加载的结果了。下面有一个小例子进行简单的运用。

'''
@Description: 爬取异步加载数据——以豆瓣网为例
@Version: 1.0
@Autor: Montoin Yan
@Date: 2020-02-01 18:18:05
@LastEditors  : Montoin Yan
@LastEditTime : 2020-02-03 18:50:01
'''
from urllib import parse
from urllib.request import urlopen,Request
import simplejson
import random

#设置多个请求头，防止被反扒措施进行拦截
ua_list = [
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:72.0) Gecko/20100101 Firefox/72.0",
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.29 Safari/537.36",
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.18362",
    "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3741.400 QQBrowser/10.5.3863.400"
]
#随机pick one
ua = random.choice(ua_list)

#以https://movie.douban.com/j/search_subjects?type=movie&tag=%E7%83%AD%E9%97%A8&page_limit=10&page_start=0 为例
#将链接进行分割，将Ajax需要传递的参数存储到字典中
url = "https://movie.douban.com/j/search_subjects"
d = {
    'type':'movie',
    'tag':'热门',
    'page_limit':'10', 
    'page_start':'0'
} 
request = Request('{}?{}'.format(url,parse.urlencode(d)),headers={
    'User-agent':ua
})

with urlopen(request) as response:
    subjects = simplejson.loads(response.read())
    print(len(subjects['subjects']))
    s = subjects['subjects']
    for i in s:
        print(i)

　　结果可以参照以下内容：

---

 HTTPS跳过证书验证

　　引用python自带的ssl库，进行不信任证书的忽略，以12306为例。

'''
@Description: HTTPS利用SSL库进行默认信任证书的模拟
@Version: 1.0
@Autor: Montoin Yan
@Date: 2020-02-03 20:18:52
@LastEditors  : Montoin Yan
@LastEditTime : 2020-02-03 20:32:47
'''

from urllib.request import urlopen,Request
import random
import ssl

url = "http://www.12306.cn/mormhweb/"
ua_list = [
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:72.0) Gecko/20100101 Firefox/72.0",
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.29 Safari/537.36",
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.18362",
    "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3741.400 QQBrowser/10.5.3863.400"
]
#随机pick one
ua = random.choice(ua_list)
request = Request(url,headers={
    'User-agent':ua
})

#忽略不信任的证书
context = ssl._create_unverified_context()

#利用urlopen的最后一个参数，强调上下文使得在链接传递的时候忽略证书
with urlopen(request,context=context) as response:
    print(response._method)
    print(response.read())