1 数据通道测试
根据需求分别生成2020-06-14和2020-06-15日期的数据
1)修改/opt/module/applog/application.properties中业务日期为2020-06-14
#业务日期
mock.date=2020-06-14
2)执行脚本,生成2020-06-14日志数据
[atguigu@hadoop102 ~]$ lg.sh
3)再次修改/opt/module/applog/application.properties中业务日期2020-06-15
#业务日期
mock.date=2020-06-15
4)执行脚本,生成2020-06-15日志数据
[atguigu@hadoop102 ~]$ lg.sh
5)在这个期间,不断观察Hadoop的HDFS路径上是否有数据
2 采集通道启动/停止脚本
1)在/home/atguigu/bin目录下创建脚本cluster.sh
[atguigu@hadoop102 bin]$ vim cluster.sh
在脚本中填写如下内容
#!/bin/bash case $1 in "start"){ echo ================== 启动 集群 ================== #启动 Zookeeper集群 zk.sh start #启动 Hadoop集群 hdp.sh start #启动 Kafka采集集群 kf.sh start #启动 Flume采集集群 f1.sh start #启动 Flume消费集群 f2.sh start };; "stop"){ echo ================== 停止 集群 ================== #停止 Flume消费集群 f2.sh stop #停止 Flume采集集群 f1.sh stop #停止 Kafka采集集群 kf.sh stop #停止 Hadoop集群 hdp.sh stop #停止 Zookeeper集群 zk.sh stop };; esac
2)增加脚本执行权限
[atguigu@hadoop102 bin]$ chmod u+x cluster.sh
3)cluster集群启动脚本
[atguigu@hadoop102 module]$ cluster.sh start
4)cluster集群停止脚本
[atguigu@hadoop102 module]$ cluster.sh stop