现在爬取http://category.dangdang.com/pg1-cid4008149.html网址上的商品价格,名称,评价数量
先准备下下数据:商品名,商品链接,评价数量
第一步:在item.py里进行设置
第二步:在setting里设置
将ROBOT文件设置为禁用
在设置里打开数据处理文件
第三步:编写爬虫:
第四步:执行数据处理文件
现在看一下结果:
现在一个简单的scrapy爬虫实现了 注意:平时要爬虫的话尽量都把robot协议改为FALSE