前些天在CSDN上看见某dalao的buff开源爬虫,没有上代理,config也只能在.ini里改,爬2000个商品花了很久
想着能不能改一下,就改了一下
。增加了从快代理上的动态爬取到的proxy
。发现proxy在requests下好用一些。
。后来又增加了利用logging模块的set方法来实现快捷更改关键参数,每次运行都能进行最高最低价的修改之类的
(悄咪咪说一句,原作者我联系不上,所以本程序仅供参考学习交流,禁止用于商业用途)
(嘛~~~如果是自己用来赚点差价买骑砍的话,原作者应该也不会生气叭*(੭*ˊᵕˋ)੭*ଘ)
这个爬虫相对来说还是很基础的,我特意做了全注释,各位可以download下来学习
github地址:嘚嘚嘚嘚嘚嘚嘚嘚嘚~
直接跑BUFFPriceSpider就可以,关键参数在运行前会提示是否修改的。