pyspider环境部署2--pyspider安装

接上篇文章，在python3.6.4安装完成的基础上，安装相关依赖模块及pyspider。

依赖安装

1.setuptools和pip

setuptools和pip是python的包管理工具，python3会默认安装，版本可能不是最新，需要手动升级一下。这2个模块在python3的安装日志结尾处有提示。

2.phantomjs

phantomjs实现了一个无界面的webkit浏览器，用于渲染解析动态页面非常好用。

http://phantomjs.org/download.html

下载

wget https://bitbucket.org/ariya/phantomjs/downloads/phantomjs-2.1.1-linux-x86_64.tar.bz2 --no-check-certificate

解压

tar -jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2

建立phantomjs安装目录到/usr/local/bin/目录的软链接

ln -s /path/to/bin/phantomjs /usr/local/bin/phantomjs

将 phantomjs拷贝到/usr/bin/ 目录下，否则pyspider启动时不会自动启动phantomjs

scp /path/to/bin/phantomjs /usr/bin/

3.其它

yum -y install libxml2 libxml2-dev libxslt* zlib gcc openssl
yum -y install libcurl-devel
yum install gcc libffi-devel python-devel openssl-devel
yum install sqlite-devel

重新编译安装Python

./configure --prefix=/usr/local/python3
make
make install

安装pyspider

pip3 install pyspider

无报错则安装成功，常见的报错类型见下节。

启动

pyspider &

访问 ip:5000，如下则安装成功