Kafka集群安装及prometheus监控

前提

zookeeper安装参考：https://www.cnblogs.com/JustinLau/p/11372782.html

其他安装参考：https://www.cnblogs.com/luotianshuai/p/5206662.html

安装Kafka前需要先安装zookeeper集群，集体安装方法请参照我的另一篇文档。
Kafka安装
下载

wget https://archive.apache.org/dist/kafka/0.8.0/kafka_2.8.0-0.8.0.tar.gz

解压

tar -zxvf kafka_2.8.0-0.8.0.tar.gz

移动文件夹

mv kafka_2.8.0-0.8.0 /usr/local/hadoop/

修改配置

    cd /usr/local/hadoop/config
    vi server.properties

参照下图信息修改

Kafaka操作

启动kafka server
cd ../
bin/kafka-server-start.sh config/server.properties

创建主题
cd /usr/local/hadoop/bin
./kafka-create-topic.sh --partition 1 --replica 1 --zookeeper 192.168.6.100:2181,192.168.6.103:2181 --topic test


检查主题是否创建成功

./kafka-list-topic.sh --zookeeper 192.168.6.100:2181,192.168.6.103:2181


启动producer

./kafka-console-producer.sh --broker-list 192.168.6.100:9092 --topic test

输入hello后，回车 ，然后另外打开一个shell终端
启动consumer

./kafka-console-consumer.sh --zookeeper 192.168.6.100:2181,192.168.6.103:2181 --topic test


关闭kafka

./kafkastop.sh

新版本命令

    ---new version--
     
    ./kafka-topics.sh --create --zookeeper 192.168.6.100:2181,192.168.6.103:2181 --replication-factor 1 --partitions 1 --topic test
     
     
    ./kafka-topics.sh --list --zookeeper 192.168.6.100:2181,192.168.6.103:2181
     
     
    ./kafka-console-producer.sh --broker-list 192.168.6.100:9092 --topic test
     
     
    ./kafka-console-consumer.sh --zookeeper 192.168.6.100:2181,192.168.6.103:2181 --topic test --from-beginning

附：有可能遇到的问题和解决方案
问题1： Failed to acquire lock on file .
这里写图片描述

解决方案：
这是因为之前已经有kafka进程在运行，可以如下：
通过jps命令查看进程号，并kill掉，然后重新启动kafka即问题解决

采集器

下载地址

https://github.com/danielqsj/kafka_exporter/releases/download/v1.2.0/kafka_exporter-1.2.0.linux-amd64.tar.gz

解压

tar -xzvf kafka_exporter-1.2.0.linux-amd64.tar.gz

启动

./kafka_exporter --kafka.server=192.168.6.103:9092