故障问题:log_transfer消息无法正常从kafka读取消息。日志输出全部为空
1,排查过程;查看log_transfer进程是否正常,这是首要的关键,当然是要在主机上进行查看,如果进程正常执行,手动杀死进程,然后重启log_transfer服务,发现出现如下错误
2,查看日志,找到问题出现在kafka的topic上,如下图
3,于是手动创建了项目中需要的l两个topic
# 创建topic值 /usr/local/kafka/bin/kafka-topics.sh --create --zookeeper 10.1.4.160:2181 --replication-factor 2 --partitions 6 --topic CC_Log /usr/local/kafka/bin/kafka-topics.sh --create --zookeeper 10.1.4.160:2181 --replication-factor 2 --partitions 6 --topic Group_Hit_Log # 查询topic值 /usr/local/kafka/bin/kafka-topics.sh --zookeeper 10.1.4.160:2181 --list
4,进入kafka的bin目录下,重启主从的kafka服务,这里先启动主节点的kafka,再启动从节点的kafka服务。
1. cd /usr/local/kafka/bin/ 2. ./kafka-server-start.sh -daemon ../config/server.properties
5, 这下重启主节点的log_transfer服务。OK!