什么是Scrapy框架:Scrapy是一个Python爬虫框架,非常适合做一些大型爬虫项目,并且开发者利用这个框架,可以不用过多的关注细节。
Scrapy的官网地址:http://scrapy.org/
安装Scrapy框架及各种常见错误解决技巧:
少坑版安装方式:由于Scrapy框架涉及太多依赖库,在此,如果想省事的朋友,可以按照这种方式去安装。如果想了 解具体过程的朋友,可以先安装pip install scrapy,然后遇到错误参加后面的方式解决。
接下来讲解少坑安装方式。
0、开个VPN或者采用本地安装方式 1、首先,升级pip:
python -m pip install --upgrade pip 2、安装Visual Studio 2015专业版,去 http://download.microsoft.com/download/B/8/9/B898E46E-CBAE-4045-A8E22D33DD36F3C4/vs2015.pro_chs.iso下载
3、安装lxml---去http://www.lfd.uci.edu/~gohlke/pythonlibs/
找“lxml-”、pip install wheel、pip install lxml-3.6.4-cp35-cp35m-win_amd64.whl
4、pip install scrapy或pip install scrapy==1.1.0rc3