centos下配置kafka

解压kafka安装包
tar -zxvf kafka_2.11-2.3.0.tgz
修改文件夹名称为kafka
mv kafka_2.11-2.3.0 kafka

单节点 - 单代理配置

kafka依赖zookeeper，所以需要先启动kafka自带的zookeeper服务器

进入kafka目录下的bin中，输入命令
./zookeeper-server-start.sh ../config/zookeeper.properties
或后台启动
nohup ./zookeeper-server-start.sh ../config/zookeeper.properties >> zookeeper.out &

启动Kafka server
./kafka-server-start.sh ../config/server.properties
或后台启动
nohup ./kafka-server-start.sh ../config/server.properties >> kafka.out &

启动之后输入jps查看是否已存在kafka进程

之后对kafka进行测试

创建一个topic:./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

响应结果:Created topic test

创建成功，输入./kafka-topics.sh --list --zookeeper localhost:2181 进行查看

结果：输出test

发送消息：./kafka-console-producer.sh --broker-list localhost:9092 --topic test

之后输入想要发送的消息

接收消息：./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic sunwukong --from-beginning

即时响应发送的消息

kafka特性：高吞吐量，低延迟，每秒可以处理几十万条消息；可扩展性；持久性；容错性；高并发

kafka可用来进行日志收集，消息系统，用户活动跟踪，运营指标，流式处理等