浏览器伪装技术爬取csdn伪装技术

友情提示：一般的网站都会有反爬虫技术，因此 想要爬取这些网站信息 就必须学会浏览器的伪装

想要伪装成浏览器 则必须为爬虫添加浏览器报头信息  ，这些报头信息需要技术人员亲自从网站代码中复制

例如csdn报头信息如下：

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36


下面给出一个爬虫小实例：爬虫把csdn信息存入data中并输出data数量

import urllib.request
import re
url="http://blog.csdn.net/"

#伪装成浏览器报头  去浏览器中读代码找到 Use-Agent的值
headers=("User-Agent","Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36")
#创建oenener对象
opener=urllib.request.build_opener()
opener.addheaders=[headers]
#把opener添加为全局
urllib.request.install_opener(opener)

data=urllib.request.urlopen(url).read().decode("utf-8","ignore")
print(len(data))