linux搭建kafka2.3.0集群

本次实战将要搭建3台kafka集群，3台服务器的ip分别是192.168.220.101，192.168.220.102，192.168.220.133

安装KAFKA

下载kafka：

官网http://kafka.apache.org/downloads下载相应版本的kafka，本集群使用版本为：kafka_2.12-2.3.0.tgz

分别上传到以上3台服务器。

安装：

直接解压即可 tar -zxvf  kafka_2.12-2.3.0.tgz

配置server.properties：

首先编辑192.168.220.101服务器上的kafka的服务器配置文件：/usr/local/kafka_2.12-2.3.0/config/server.properties

broker.id=0  #集群中各个节点该值不能重复
listeners=PLAINTEXT://192.168.220.101:9092 #当前节点服务器的地址和端口
advertised.listeners=PLAINTEXT://192.168.220.101:9092 #当前节点服务器的地址和端口
log.dirs=/usr/local/kafka_2.12-2.3.0/logs  #这个目录需要手动创建
zookeeper.connect=192.168.220.101:2181  #zk集群的地址,多个以逗号分隔
zookeeper.connection.timeout.ms=60000  #连接zk的超时时间,默认是6000，最好设置大一点，以免超时

再分别编辑192.168.220.102，192.168.220.133的kafka服务器配置文件server.properties，只需改动上面配置的前3项即可。

启动kafka

分别在3台服务器的kafka的中执行命令：./bin/kafka-server-start.sh  config/server.properties 

#备注”-daemon"在后台运行，不占用当前窗口

启动成功后，查看zk，可以看到ids对应我们设置的三个broker.id

[zk: localhost:2181(CONNECTED) ] ls /brokers/ids
[0, 1, 2]

查看其中的一个详情

[zk: localhost:2181(CONNECTED) 8] get /brokers/ids/1
{"listener_security_protocol_map":{"PLAINTEXT":"PLAINTEXT"},"endpoints":["PLAINTEXT://192.168.220.102:9092"],"jmx_port":-1,"host":"192.168.220.102","timestamp":"1593329740027","port":9092,"version":4}

测试KAFKA

1、创建Topic

在192.168.220.101(Broker)上创建Tpoic：book，这里我们指定了3个分区,2个副本

[root@localhost bin]# ./kafka-topics.sh --create --zookeeper 192.168.220.101:2181   --topic book  --partitions 3  --replication-factor 2

再在192.168.220.102(Broker)上创建Tpoic：user，这里我们指定了5个分区,2个副本

[root@localhost bin]# ./kafka-topics.sh --create --zookeeper 192.168.220.102:2181   --topic user  --partitions 5  --replication-factor 2

Topic在一个broker上创建后也会同步到集群中另外两个Broker。

2、查看topic  --list

可以在任意一台broker上查看，比如在192.168.220.133上查看集群的topic列表信息

[root@localhost bin]# ./kafka-topics.sh --bootstrap-server 192.168.220.133:9092 --list
__consumer_offsets
book
user

3.查看指定的topic详情    --describe --topic user

[root@localhost bin]# ./kafka-topics.sh   --bootstrap-server  192.168.220.133:9092   --describe --topic user
Topic:user    PartitionCount:5    ReplicationFactor:2    Configs:segment.bytes=1073741824
    Topic: user    Partition: 0    Leader: 0    Replicas: 0,1    Isr: 0,1
    Topic: user    Partition: 1    Leader: 1    Replicas: 1,2    Isr: 1,2
    Topic: user    Partition: 2    Leader: 2    Replicas: 2,0    Isr: 2,0
    Topic: user    Partition: 3    Leader: 0    Replicas: 0,2    Isr: 0,2
    Topic: user    Partition: 4    Leader: 1    Replicas: 1,0    Isr: 1,0

Partition：0,1,2,3,4 数字代表user这个topic的分区编号
Leader:0,1,2  数字代表的是broker的id编号，也就是集群中的服务器编号
Replicas:0,1,2  数字代表的是broker的id编号，也就是集群中的服务器编号
Isr:0,1,2  数字代表的是broker的id编号，也就是集群中的服务器编号

具体分析如下：

Topic: user    Partition: 0    Leader: 0    Replicas: 0,1    Isr: 0,1 
表示的意思是user分区0有两个副本，分别在broker0和1上（Replicas:0,1），其中broker0上的副本是leader(Leader:0),那么broker1上的副本自然就是fllower,
所以在broker0和broker1上应该都会创建user-0(表示主题user的第0个分区)文件，分别代表分区0的leader和fllower副本。
去192.168.220.101，192.168.220.102上查看logs目录，确实都有user-0文件

192.168.220.101关于user主题的文件：

   192.168.220.102关于user主题的文件：

 为了深入理解这里的数字概念，再创建一个topic:it,指定5个分区，3个副本。

[root@localhost bin]# ./kafka-topics.sh --create --zookeeper 192.168.220.101:2181   --topic it  --partitions 5  --replication-factor 3
Created topic it.
[root@localhost bin]#  ./kafka-topics.sh   --bootstrap-server  192.168.220.102:9092   --describe --topic it
Topic:it    PartitionCount:5    ReplicationFactor:3    Configs:segment.bytes=1073741824
    Topic: it    Partition: 0    Leader: 0    Replicas: 0,2,1    Isr: 0,2,1
    Topic: it    Partition: 1    Leader: 1    Replicas: 1,0,2    Isr: 1,0,2
    Topic: it    Partition: 2    Leader: 2    Replicas: 2,1,0    Isr: 2,1,0
    Topic: it    Partition: 3    Leader: 0    Replicas: 0,1,2    Isr: 0,1,2
    Topic: it    Partition: 4    Leader: 1    Replicas: 1,2,0    Isr: 1,2,0

可以看到it的分区0分配到了3个broker（0，2，1）上面。it的其他分区也都分别分配到了3个broker上了，因为副本数等于broker数，而且相同的副本不能分配到同一个broker上，所以只能这样分配。

注意：副本数不能大于broker数量，因为有个前提就是相同的副本不能分配在同一个broker上

4.启动生产者，准备发送消息 

 --broker-list 可以指定整个集群的所有ip,也可以只指定其中任意一个 

 --topic  指定要发送消息所属主题

[root@localhost bin]# ./kafka-console-producer.sh --broker-list 192.168.220.101:9092  --topic book

5.启动2个消费者，准备消费消息

[root@localhost bin]# ./kafka-console-consumer.sh --bootstrap-server 192.168.220.102:9092 --from-beginning --topic book
[root@localhost bin]# ./kafka-console-consumer.sh --bootstrap-server 192.168.220.133:9092 --from-beginning --topic book