今天主要介绍一下在Windows下安装pyspider,pyspider是一款用python编写的网络爬虫框架,这个框架最好是在linux下运行,Windows下运行可能会出现兼容性问题,如果实在要在Windows下运行,最好选择32位版本,64位版本可能会出现运行崩溃问题。
1、要安装pyspider首先要安装python,刚才说了,最好安装32位版本的。
下载地址:https://www.python.org/downloads/windows/
2、pycurl也是pyspider运行必要的插件,安装时要对应python安装的版本。
下载地址:https://bintray.com/pycurl/pycurl/pycurl/view#files
这里注意一点:一般安装python时已经安装了对应的pycurl,如果没有安装,就单独安装一下。(我一开始安装python 3.7,安装后发现没有安装pycurl,然后我看下载链接中没有对应3.7版本的pycurl,所以又卸载重新安装python 3.5,发现自动安装了pycurl)
3、安装好后要配置python环境变量。这里主要写两个路径,一个是python目录,一个是python目录下的scripts目录(这个主要是为了能使用pip命令)。
这里有个技巧,可以不用自己手动添加,在安装python时有个勾选框(add python to path),默认时不勾选的,如果勾选会自动添加环境变量。
4、 打开cmd,输入安装命令:pip install pyspider
5、输入运行命令:pyspider
6、运行成功后,在浏览器中打开 http://localhost:5000,出现如下界面,说明可以开始使用了。