1、pyspider安装

系统环境： centos6.6、python2.7

经测试，python2.6安装的pyspider会导致webui无法正常访问

参考博文：

http://cuiqingcai.com/2443.html

1.python 预安装

python -V 查看是否系统自带python

如果不是2.7，需要下载2.7的版本，此处使用2.7.13版本

wget https://www.python.org/ftp/python/2.7.13/Python-2.7.13.tgz

tar -zxvf Python-2.7.13.tgz

cd Python-2.7.13

./configure  
make all             
make install  
make clean  
make distclean

建立软连接，使系统默认的 python指向 python2.7
#mv /usr/bin/python /usr/bin/python2.6.6  
#ln -s /usr/local/bin/python2.7 /usr/bin/python  

解决系统 Python 软链接指向 Python2.7 版本后，因为yum是不兼容 Python 2.7的，所以yum不能正常工作，需要指定 yum 的Python版本
#vi /usr/bin/yum  
将文件头部的
#!/usr/bin/python
改成
#!/usr/bin/python2.6.6

2.setuptools安装

wget http://pypi.python.org/packages/source/s/setuptools/setuptools-18.0.1.tar.gz 

tar -zxvf setuptools-18.0.1.tar.gz

cd setuptools-18.0.1

python setup.py install

3.pip安装

wget https://pypi.python.org/packages/source/p/pip/pip-7.1.0.tar.gz --no-check-certificate

由于下载pip是基于https协议的，故需要在wget url后面加上 --no-check-certificate，否则不能下载

tar -zxvf pip-7.1.0.tar.gz

cd pip-7.1.0

python setup.py install

4.phantomjs安装

wget https://bitbucket.org/ariya/phantomjs/downloads/phantomjs-2.1.1-linux-x86_64.tar.bz2 --no-check-certificate

tar -jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2

建立phantomjs安装目录到/usr/local/bin/目录的软链接

ln -s /path/to/bin/phantomjs /usr/local/bin/phantomjs

5.pyspider安装

先安装pcc等的依赖

yum -y install libxml2 libxml2-dev libxslt* zlib gcc openssl

yum -y install libcurl-devel

yum install gcc libffi-devel python-devel openssl-devel

安装sqlite

yum install sqlite-devel

重新编译安装Python

./configure

make

make install 

pip install pyspider

6.启动

将 phantomjs拷贝到/usr/bin/ 目录下，否则pyspider启动时不会自动启动phantomjs

pyspider &

访问 ip:5000，如下则安装成功