快速启动

快速启动

提示，快速启动构成均在centos上完成，其中redis服务器采用的是root用户安装，因此为避免权限问题，建议使用root用户进行操作。

1、下载软件包

https://github.com/istresearch/scrapy-cluster/archive/v1.2.1.zip
https://github.com/istresearch/scrapy-cluster/archive/v1.2.1.tar.gz

2、安装所需组件

#解压软件包
$>tar -xzvf v1.2.1.tar.gz -C /soft

#进入安装目录
$>cd /soft/scrapy-cluster-1.2.1

#安装所需组件,sudo执行，避免权限问题
$>sudo pip install -r requirements.txt

3、离线单元测试，确保每个组件正常

$>./run_offline_tests.sh

4、在kafka监视器目录添加文件localsettings.py

$>cd kafka-monitor/
$>touch localsettings.py

[localsettings.py]内容如下：

# Here, 'scdev' is the host with Kafka and Redis
REDIS_HOST = 's101'
KAFKA_HOSTS = 's102:9092'

5、执行在线集成测试，查看kafka 监视器是否正确安装

在线测试，需要启动redis和kafka集群，且redis的保护模式要关闭。

$>python tests/online.py -v

成功后，截图如下：

6、测试redis监控器是否正常

$>cd ../redis-monitor
$>vi localsettings.py

[localsettings.py]内容如下：

REDIS_HOST = 's101'
KAFKA_HOSTS = 's102:9092'