这两天使用Django开发了web微信,实现了显示联系人以及收发消息的功能。
总结下这过程中使用到的一些知识。
1 http请求
通过chrome浏览器自带的开发者工具查看每次请求的信息,分析请求,包括请求方式,请求url的构造,请求头,收发数据的数据类型等。
在代码中,伪造成浏览器发出请求。
POST请求的数据类型有:Form表单的数据,Json数据。
请求头:user-agent content-type referer host cookie 这几个参数是比较关键的,一般需要在爬虫过程中设置这几个参数才能大概率爬取到数据。
2 代理
有些网站会监测请求的频率,因此如果不适度的话,就会被禁IP,这时候就需要通过代理的方式发出请求。
我方将请求转接到代理IP,再从代理IP将请求发到目标网站获取响应。