每台服务器都需要安装,修改配置,并启动
启动命令:
sudo -u hadoop ./kafka-server-start.sh -daemon ../config/server.properties
目前4台服务器都作为kafka broker 后面3台做为zk
创建了一个topic:
sudo -u hadoop ./kafka-topics.sh --create --zookeeper XXX.XXX.XXX.XXX:2181 --replication-factor 2 --partition 4 --topic finance_risk_rtc_stat_cell
如果kafka在zk没有使用根目录,则需要在—zookeeper XXX.XXX.XXX.XXX:2181后跟/目录,后边亦是如此
查看:
sudo -u hadoop ./kafka-topics.sh --list --zookeeper XXX.XXX.XXX.XXX:2181
然后用一台服务器作为provider一台作为consumer测试
都是console模式
provider:
sudo -u hadoop ./kafka-console-producer.sh --broker-list XXX.XXX.XXX.XXX:9092 --topic finance_risk_rtc_stat_cell
consumer:
sudo -u hadoop ./kafka-console-consumer.sh --zookeeper XXX.XXX.XXX.XXX:2181 --topic finance_risk_rtc_stat_cell --from-beginning
这样就可以通信了
查看描述:
sudo -u hadoop ./kafka-topics.sh --describe --zookeeper XXX.XXX.XXX.XXX:2181/kafka --topic finance_risk_rtc_history
查看topic partition 个数 offset
sudo -u hadoop ./kafka-consumer-offset-checker.sh --zookeeper XXX.XXX.XXX.XXX:2181/kafka --group risk_rtc --topic finance_risk_rtc_history