一.安装python3.7
1.安装依赖包
yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gcc make libffi-devel
2.下载python3.7源码包、解压并进入目录
wget https://www.python.org/ftp/python/3.7.0/Python-3.7.0.tgz tar -xzvf Python-3.7.0.tgz cd Python-3.7.0
3.编译并安装
./configure prefix=/usr/local/python3 make && make install
4.添加bin目录至系统PATH变量中
#打开系统profile文件 vi /etc/profile #在最后添加，并保存 export PATH=$PATH:/usr/local/python3/bin #马上生效 source /etc/profile
5.将默认的python命令改为python3
#输出python命令位置，我的在/usr/bin/python，其实它是/usr/bin/python2的软链接 which python #备份一下 mv /usr/bin/python /usr/bin/python_bak #添加python->python3和pip->pip3的软链接 ln -s /usr/local/python3/bin/python3.7 /usr/bin/python ln -s /usr/local/python3/bin/pip3.7 /usr/bin/pip #这时可以测试下 python -V
6.更改yum配置，因为yum使用的是python2
vi /usr/bin/yum 把 #! /usr/bin/python 修改为 #! /usr/bin/python2 vi /usr/libexec/urlgrabber-ext-down 把 #! /usr/bin/python 修改为 #! /usr/bin/python2
二.安装和配置scrapyd
1.安装运行scrapyd
#安装 pip install scrapyd #运行 scrapyd
启动后，scrapyd默认监听的127.0.0.1的6800端口，这时访问:http://127.0.0.1:6800,如果想让其它主机访问，或想改端口，需要进入下一步操作。
2.配置
scrapyd启动会在以下位置查找配置文件：
/etc/scrapyd/scrapyd.conf(Unix)c:scrapydscrapyd.conf(Windows)/etc/scrapyd/conf.d/*(in alphabetical order, Unix)scrapyd.conf（运行目录）~/.scrapyd.conf(users home directory)
我们根据需要创建scrapyd.conf,这里我是在运行目录 ，我们可以通过 find / -name scrapyd来查找scrapyd的安装目录 ，在安装目录 里有一个default_scrapyd.conf是默认的配置文件，我们可以以此为模板来修改成我们需要的。
其中
bind_address为绑定ip，修改成0.0.0.0，其它主机就可以访问了
http_port为监听的端口
三.安装和配置scrapydweb
1.安装和运行
#安装scrapydweb pip install scrapydweb #logparser是一个日志解析工具，可以把日志解析后发送给scrapyweb pip install logparser #新建一个目录 并在此目录下运行 mkdir scrapydwebtest cd scrapydwebtest scrapydweb
2.配置
运行后有可能会不成功，不管成功与否都会在目录 下生成 scrapydweb_settings_v10.py 文件，此文件为scrapydweb的配置文件，如果不成功会要求修改其内的SCRAPYD_SERVERS.此项为配置scrapyd的服务地址。根据自已的情况配置，我的配置如下：
SCRAPYD_SERVERS = [ '127.0.0.1:6800', # 'username:password@localhost:6801#group', # ('username', 'password', 'localhost', '6801', 'group'), ]
配置文件内的注释还是比较详尽的，大部分一看就会明白，同时可以参考这篇文章：https://zhuanlan.zhihu.com/p/99449687