Kafka环境搭建

一，环境准备

JDK + Kafka 

二，Kafka配置文件说明

 /kafka_2.11-1.1.0/config/server.properties（见下图）

 /kafka_2.11-1.1.0/config/zookeeper.properties

三，服务启动

先启动zookeeper，再启动kafka

bin/zookeeper-server-start.sh config/zookeeper.properties &

bin/kafka-server-start.sh  config/server.properties &

通过jps -l查看进程是否启动成功:

 四，Topic创建

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 3 --topic test

这条命令会创建一个名为test的topic，有3个分区，每个分区需分配3个副本。topic创建主要分为两个部分：命令行部分+后台(controller)逻辑部分，如下图所示。主要的思想就是后台逻辑会监听zookeeper下对应的目录节点，一旦发起topic创建命令，该命令会创建新的数据节点从而触发后台的创建逻辑。

bin/kafka-topics.sh --list --zookeeper localhost:2181 用来查已经创建的Topic

 五，消息发送和消费

-- ip和端口 见kafka配置属性文件
root@dev02:/usr/local/kafka/kafka_2.12-2.0.0$ bin/kafka-console-producer.sh --broker-list 192.168.101.75:6667 --topic test
>test111
>test222
root@dev02:/usr/local/kafka/kafka_2.12-2.0.0$ bin/kafka-console-producer.sh --broker-list 192.168.101.75:6667 --topic test
>haha
root@dev02:/usr/local/kafka/kafka_2.12-2.0.0$ bin/kafka-console-consumer.sh --bootstrap-server 192.168.101.75:6667 --topic test --from-beginning
test111
test222
haha