Scrapy002-框架安装
@(Spider)[POSTS]
这里我使用的是Python3.x，
1. Ubuntu上安装
在安装Scrapy之前，首先需要确定环境和版本：
- Ubuntu16.04
- Python3.5
- Scrapy1.2
依赖安装：
sudo apt-get install build-essential
sudo apt-get install python3-dev
sudo apt-get install libxml2-de;
sudo apt-get install libxslt1-dev
sudo apt-get install python3-setuptools
lxml 安装：
sudo python3 -m pip install lxml
Scrapy安装：
sudo python3 -m pip install Scrapy
安装OpenSSL：
sudo python3 -m pip install pyopenssl
之前安装了python-dev和python-setuptools也要重新安装python3版本的这两个软件，即运行：
sudo apt-get install python3-dev
sudo apt-get install python3-setuptools
安装过程很简单，若出现其他问题，根据实际情况解决即可。
2. Windows10上安装
在安装之前我们需要进行准备工作：
- 安装Python3.5
官网下载就好，https://www.python.org/downloads/release/python-352/
-
下载并更新到
Visual Studio 2015
官方：Python3.5 对应的版本
下载链接：https://www.visualstudio.com/zh-hans/downloads/ -
更新
pip工具
python -m pip install -upgrade pip
由于Windows对Twisted框架支持还不是很完善，并不能通过pip来安装，我们可以通过下列方式：
1. 安装Twisted和lxml
到这个网址来下载已经做好的包：http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
Ctrl+f查询lxml即可。
注意:cp35表示Python3.5，win32指的是Python的位数而不是Windows的系统位数
在cmd中使用pip工具，安装下载的wheel包即可。
pip install d:Twisted-16.4.1-cp35-cp35m-win32.whl
pip install d:lxml-3.6.4-cp35-cp35m-win32.whl
2. 安装Scrapy
pip install scrapy
3.依赖问题
安装完成后，启动时关于错误 ImportError
ImportError: cannot import name '_win32stdio'
ImportError: No module named 'win32api'
解决：
pip install win32api
若仍未解决，请到https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/ 下载对应版本安装即可解决。