1. cookies
1.使用session对象可自动存储服务器返回的cookies
原来代码:
r = requests.post(url, headers={}, data={})
r = requests.get(url, headers={})
使用session的代码:
session = requests.Session()
r = session.post(url, headers={}, data={})
r = session.get(url, headers={})
2.代理相关网站
-快代理
-西祠代理
-www.goubanjia.com
3.线程池
from mutiprocessing.dummy import Pool
pool = Pool(4) # 实例化一个4线程的线程池
result_list = pool.map(get_html, url_list) # 参数一:函数名,参数二:该函数参数的列表
pool.close()
pool.join()
4.单线程异步协程 async
import asyncio