网络爬虫Python（一）

1、爬取页面，打印页面信息

import requests

# get请求
response_get=requests.get("https://www.baidu.com") # 生成一个response对象
response_get.encoding=response_get.apparent_encoding # 设置编码格式

# post请求
response_post = requests.post("http://httpbin.org/post")
response_post.encoding=response_post.apparent_encoding

print("抓取百度网页html内容如下(get请求)：")
print(response_get.text)
print("抓取百度网页html内容如下(post请求)：")
print(response_post.text)

2、关于反爬机制页面的处理

# 关于绕过反爬机制
response_get=requests.get("http://www.zhihu.com") # 生成一个response对象
response_get.encoding=response_get.apparent_encoding # 设置编码格式
print("不设置头信息，状态码：",str(response_get.status_code))
print("抓取网页html内容如下(get请求)：")
print(response_get.text)

# 设置User-Agent，添加头部信息,伪装浏览器
headers={
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36"
}
response_get=requests.get("https://www.zhihu.com",headers=headers)
response_get.encoding=response_get.apparent_encoding
print("设置头信息，状态码：",str(response_get.status_code))
print("抓取网页html内容如下(get请求)：")
print(response_get.text)

3、爬取信息并保存到本地方法

import requests

# get请求
response_get = requests.get("http://www.baidu.com")  # 生成一个response对象
response_get.encoding = response_get.apparent_encoding  # 设置编码格式
print("抓取网页html内容如下(get请求)：")
print(response_get.text)
# 爬取信息并保存到本地方法1：
with open("./file/zhongyan.html", "w", encoding="utf-8") as f:
    f.write(response_get.text)
    f.close()
# 爬取信息并保存到本地方法2：
file = open("./file/zhongyan1.html", "w", encoding="utf-8")
file.write(response_get.text)
file.close()

4、美化爬出html信息

import requests
from bs4 import BeautifulSoup

# get请求
response_get = requests.get("http://www.baidu.com")  # 生成一个response对象
response_get.encoding = response_get.apparent_encoding  # 设置编码格式
print("抓取网页html内容如下(get请求)：")
soup=BeautifulSoup(response_get.text,"html.parser")
print(soup.prettify())

 5、整体代码如下：

import requests
from bs4 import BeautifulSoup

# get请求
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36"
}
response_get = requests.get("http://www.baidu.com", headers=headers)  # 生成一个response对象
response_get.encoding = response_get.apparent_encoding  # 设置编码格式
print("抓取网页html内容如下(get请求)：")
# 美化爬出数据展示
soup = BeautifulSoup(response_get.text, "html.parser")
# prettify()每逢标签，自动换行
print(soup.prettify())
# 爬取信息并保存到本地方法1：
with open("./file/baidu.html", "w", encoding="utf-8") as f:
    f.write(soup.prettify())
    f.close()
# 爬取信息并保存到本地方法2：
file = open("./file/baidu1.html", "w", encoding="utf-8")
file.write(soup.prettify())
file.close()