应对反爬
更换ip地址
比如我用requests来发送请求
import requests
proxies = {
"http": "http://10.10.1.10:3128",
"https": "http://10.10.1.10:1080", # 这里用 https 代理会失效，取的是 https ip 也不行，可能我爬取的是 http 网站（猜测）
}
requests.get("http://example.org", headers=headers, proxies=proxies)
参数proxies就是更换的代理ip，注意格式里https的头还是http
至于ip怎么搞，一些卖ip的网站首页上有免费的ip可以用，写了个爬虫爬下来用
后来可能是爬多了，别人把我封了，就花钱买了ip
这里推荐一下大象代理，http://www.daxiangdaili.com
五块钱两万个ip，可能不太稳定，但自己用应该够了
requests文档
http://docs.python-requests.org/zh_CN/latest/user/advanced.html#proxies
更换UserAgent
User-Agent 首部包含了一个特征字符串，用来让网络协议的对端来识别发起请求的用户代理软件的应用类型、操作系统、软件开发商以及版本号。
我是这么做的
去网上复制十几个UserAgent，放到列表里，每次从中随机取一个
from random import choice
ua_list = [
'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36',
'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50',
'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50',
'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv,2.0.1) Gecko/20100101 Firefox/4.0.1',
'Mozilla/5.0 (Windows NT 6.1; rv,2.0.1) Gecko/20100101 Firefox/4.0.1',
'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;',
'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)',
'Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11',
'Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11',
'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11',
'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)',
'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; 360SE)',
'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SE 2.X MetaSr 1.0; SE 2.X MetaSr 1.0; .NET CLR 2.0.50727; SE 2.X MetaSr 1.0)',
'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; TencentTraveler 4.0)',
'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)',
]
def ua_get():
ua = choice(ua_list)
headers = {"User-Agent": ua, }
return headers
看到更骚的操作是，使用搜索引擎爬虫的UserAgent
试了一下，但会报错，就没去深究了
redis 代理ip池
之前的做法是每次从代理接口取一个ip，所有的请求都用这一个ip去伪装
问题是，取的间隔至少得一秒，如果这个ip不能用或者速度慢，那这一秒内的请求全部不能用，并且会一直请求到超时
既然用的是五块钱两万个ip，那肯定一大堆不能用的
所以去网上看了别人的做法，然后按自己的想法做了一个ip池
具体做法是
每次从接口取10个ip，放进redis里，取的方式是先进后出，每次从头部取
设置请求的时间，如果请求超时或者报错了，就重新取一个ip再发请求
限制发送次数，超过次数就退出来
如果请求发送成功，拿到了想要的东西，就把那个能用的ip从尾部塞回去
如果去redis取ip的时候发现空了，就重新去接口拿10个
整个过程就是这样，贴一个丑陋的函数
def requests_send(url):
h = header_get()
code = 0
count = 0
while code != 200: # 如果请求不成功，就接着请求下去
count += 1
print('第{}次请求'.format(count))
if count > 10: # 限制次数
break
try:
ip = pop() # 取ip
p = dict(http='http://{}'.format(ip))
print('proxy', p)
r = requests.get(url, headers=h, proxies=p, timeout=3) # 发送请求
response = r.content.decode('utf-8')
code = r.status_code
path = response
except Exception as err: # 报错了的话，也会重新请求
print(str(err))
else:
print('path[-4:]', path[-4:])
if path[-4:] != '.mp3': # 如果没拿到想要的，重新开始一次
continue
rds.rpush('ip-proxy-pool', ip) # 成功了把ip塞回去
print('补充1个', ip)
return dict(code=200, path=path)
return dict(code=-1)
这种做法并不好，有条件的话，应该时刻保持着ip能用，但那样的话请求量就陡增了很多
文档
https://cloud.tencent.com/developer/article/1004915
https://www.jianshu.com/p/588241a313e7