2021.4.18 使用 requests 库抓取网站数据

一、今日学习内容

使用 requests 库请求网站

安装 requests 库

首先在 PyCharm 中安装 requests 库，为此打开 PyCharm，单击“File”（文件）菜单，选择“Setting for New Projects...”命令，如图 4 所示。

图 4

选择“Project Interpreter”（项目编译器）命令，确认当前选择的编译器，然后单击右上角的加号，如图 5 所示。

图 5

在搜索框输入：requests（注意，一定要输入完整，不然容易出错），然后单击左下角的“Install Package”（安装库）按钮。如图 6 所示：

图 6

安装完成后，会在 Install Package 上显示“Package‘requests’ installed successfully”（库的请求已成功安装），如图 7 所示；如果安装不成功将会显示提示信息。

图 7 安装成功

爬虫的基本原理

网页请求的过程分为两个环节：

1. Request （请求）：每一个展示在用户面前的网页都必须经过这一步，也就是向服务器发送访问请求。
2. Response（响应）：服务器在接收到用户的请求后，会验证请求的有效性，然后向用户（客户端）发送响应的内容，客户端接收服务器响应的内容，将内容展示出来，就是我们所熟悉的网页请求，如图 8 所示。
3. 

图 8 Response相应

网页请求的方式也分为两种：

1. GET：最常见的方式，一般用于获取或者查询资源信息，也是大多数网站使用的方式，响应速度快。
2. POST：相比 GET 方式，多了以表单形式上传参数的功能，因此除查询信息外，还可以修改信息。

所以，在写爬虫前要先确定向谁发送请求，用什么方式发送。

使用 GET 方式抓取数据

复制任意一条首页首条新闻的标题，在源码页面按【Ctrl+F】组合键调出搜索框，将标题粘贴在搜索框中，然后按【Enter】键。

如图 8 所示，标题可以在源码中搜索到，请求对象是www.cntour.cn，请求方式是GET（所有在源码中的数据请求方式都是GET），如图 9 所示。

图 9（点此查看高清大图）

确定好请求对象和方式后，在 PyCharm 中输入以下代码：

1. import requests #导入requests包
2. url = 'http://www.cntour.cn/'
3. strhtml = requests.get(url) #Get方式获取网页数据
4. print(strhtml.text)

运行结果如图 10 所示：

图 10 运行结果效果图（点此查看高清大图）

加载库使用的语句是 import+库的名字。在上述过程中，加载 requests 库的语句是：import requests。

用 GET 方式获取数据需要调用 requests 库中的 get 方法，使用方法是在 requests 后输入英文点号，如下所示：

requests.get

将获取到的数据存到 strhtml 变量中，代码如下：

strhtml = request.get(url)

这个时候 strhtml 是一个 URL 对象，它代表整个网页，但此时只需要网页中的源码，下面的语句表示网页源码：

strhtml.text

使用 POST 方式抓取数据

首先输入有道翻译的网址：http://fanyi.youdao.com/，进入有道翻译页面。

按快捷键 F12，进入开发者模式，单击 Network，此时内容为空，如图 11 所示：

图 11

在有道翻译中输入“我爱中国”，单击“翻译”按钮，如图 12 所示：

图 12

在开发者模式中，依次单击“Network”按钮和“XHR”按钮，找到翻译数据，如图 13 所示：

图 13

单击 Headers，发现请求数据的方式为 POST。如图 14 所示：

图 14

找到数据所在之处并且明确请求方式之后，接下来开始撰写爬虫。

首先，将 Headers 中的 URL 复制出来，并赋值给 url，代码如下：

url = 'http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule'

POST 的请求获取数据的方式不同于 GET，POST 请求数据必须构建请求头才可以。

Form Data 中的请求参数如图 15 所示：

图 15

将其复制并构建一个新字典：

From_data={'i':'我愛中國','from':'zh-CHS','to':'en','smartresult':'dict','client':'fanyideskweb','salt':'15477056211258','sign':'b3589f32c38bc9e3876a570b8a992604','ts':'1547705621125','bv':'b33a2f3f9d09bde064c9275bcb33d94e','doctype':'json','version':'2.1','keyfrom':'fanyi.web','action':'FY_BY_REALTIME','typoResult':'false'}

接下来使用 requests.post 方法请求表单数据，代码如下：

import requests        #导入requests包
response = requests.post(url,data=payload)

将字符串格式的数据转换成 JSON 格式数据，并根据数据结构，提取数据，并将翻译结果打印出来，代码如下：

1. import json
2. content = json.loads(response.text)
3. print(content['translateResult'][0][0]['tgt'])

使用 requests.post 方法抓取有道翻译结果的完整代码如下：

1. import requests #导入requests包
2. import json
3. def get_translate_date(word=None):
4. url = 'http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule'
5. From_data={'i':word,'from':'zh-CHS','to':'en','smartresult':'dict','client':'fanyideskweb','salt':'15477056211258','sign':'b3589f32c38bc9e3876a570b8a992604','ts':'1547705621125','bv':'b33a2f3f9d09bde064c9275bcb33d94e','doctype':'json','version':'2.1','keyfrom':'fanyi.web','action':'FY_BY_REALTIME','typoResult':'false'}
6. #请求表单数据
7. response = requests.post(url,data=From_data)
8. #将Json格式字符串转字典
9. content = json.loads(response.text)
10. print(content)
11. #打印翻译后的数据
12. #print(content['translateResult'][0][0]['tgt'])
13. if __name__=='__main__':
14. get_translate_date('我爱中国')