在linux中安装Scrapy只需要导入一些非python的支持包,在windows中安装Scrapy则是一波三折。
总之来说,主要分为以下几个步骤,可能由于系统问题(国内个人机子,甚至是小企业的机子,可能都不是正版windows)会缺失很多Visual studio的东西,所以需要再另找vs等的安装包。
tips: pip和pip3的区别,就是pip是python2的,pip新安装的库会放在 python2.7/site-packages 下面,而pip3是python3的,新安装的库会放在 python3.6/site-packages 下面。python3不能import python2的库。
- 安装python
- 根据你的需求下载python安装包,安装python(本文基于python27)https://www.python.org/downloads/
-
在 环境变量---"Path"中加入路径:"安装目录/python27/;安装目录/python27/Scripts;"
-
在运行中输入"cmd"打开命令窗口,输入"python --version",如果成功显示python版本号,则python安装成功!如果未显示,则重启计算机!
- 安装pywin32
-
根据需要下载相应的pywin32安装包
https://sourceforge.net/projects/pywin32/files/pywin32/Build%20217/
-
- 安装pip
- 一般为python默认安装好的,在"安装目录/python27/Scripts"目录中有"pip.exe"则默认安装成功;
-
若python未默认安装,在 https://pip.pypa.io/en/latest/installing/ 下载"get-pip.py"的python程序
-
在运行中输入"cmd"打开命令窗口,输入"python get-pip.py"即可自动安装。
-
若你的用户名为中文导致安装出错,则在python安装目录"安装目录/python27/Lib/site-packages"中添加一个文本文件,命名为"sitecumtomize.py",打开往文件内输入
1 import sys 2 sys.setdefaultencoding('gd2312')
保存关闭。
-
重启cmd命令窗口,输入"pip --version",若显示pip版本号,则安装成功
-
- 一般为python默认安装好的,在"安装目录/python27/Scripts"目录中有"pip.exe"则默认安装成功;
- 安装lxml
- 若系统未安装vs2008,则安装lxml 前,先安装vcforpython27。
-
在 https://pypi.python.org/pypi/lxml/3.6.0#downloads 中下载lxml for 2.7,下载安装。
- 安装pyOpenSSL
- 重启cmd命令窗口,用pip安装openSSL,输入命令"pip install pyOpenSSL"
- 安装scrapy
- 准备工作完成,安装scrapy。重启cmd命令窗口,用pip安装openSSL,输入命令"pip install scrapy"
等待自动安装,安装完成后输入"scrapy",提示scrapy的命令提示内容,则整个安装过程结束。
- 准备工作完成,安装scrapy。重启cmd命令窗口,用pip安装openSSL,输入命令"pip install scrapy"