Install Scrapy
熟悉PyPI的话,直接一句
pip install Scrapy
但是有时候需要处理安装依赖,不能直接一句命令就安装结束,这个和系统有关。
我用的Ubuntu,这里仅介绍Ubuntu12.04及以上的版本。
sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev
先执行上面命令安装lxml和cryptography的依赖库。
如果是想在Python3上安装scrapy,还需要输入
sudo apt-get install python3 python3-dev
最后一步
pip install scrapy
安装完成
不要用Ubuntu提供的python-scrapy包来安装,不方便获取最新scrapy。
Using a virtual environment
官方文档推荐在虚拟环境下安装scrapy。虚拟环境下安装不容易和全局环境下的python包发生冲突。安装Virtual environment(virtualenv)很简单
sudo pip install virtualenv
简单介绍下virtualenv的使用。要创建一个虚拟环境,我们输入:
virtualenv ENV
这样一个放置在ENV文件夹的虚拟环境就搭好了
搭好后还需要激活(activate)我们才能进入虚拟环境。脚本在/ENV/bin下。
cd ENV
source bin/activate
如果成功进入虚拟环境,你可以看到最前面出现了一个(env)提示符,比如下面这样的。
(env)ubuntu@VM-197-0-ubuntu:~/env/bin$
然后正常安装scrapy就可以了。
要退出虚拟环境,只要
deactivate