反爬记录

反爬记录

1.UA伪装

2.封IP

3.font-family

4.cookeies

5.验证码

6.referer

7.css:before

8.js混淆

9:加密

10.检查webdriver

11.禁用调试

爬虫小知识

测试接口信息的链接

#常用来查看请求头等信息
http://httpbin.org/get

大型免费代理池

https://github.com/jhao104/proxy_pool