zoukankan      html  css  js  c++  java
  • Kafka集群搭建

    1、下载安装包(推荐使用迅雷下载,会快一点)

    地址:https://kafka.apache.org/downloads

    2、将安装包拷贝到 /usr/local/ 目录下,并解压

    # 移动到 /usr/local/
    mv kafka.tgz /usr/local/
    
    # 解压
    tar -zxvf kafka.tgz

    3、编辑配置文件

    vi /usr/local/kafka/config/server.properties

    修改如下内容:

    # 集群中每个节点的名称
    broker.id=1
    # 监听端口(这里最好不要配置为 localhost 或 127.0.0.1 ,直接配置 ip,不然会遇到一些问题)
    listeners=PLAINTEXT://192.168.10.131:9092
    advertised.listeners=PLAINTEXT://192.168.10.131:9092
    # zookeeper集群连接配置,如果是zookeeper单机,这里只配置单机的连接ip就好
    # /kafka : 默认是localhost:2181,改成 localhost:2181/kafka, 这样就不会再 zookeeper的根目录创建,而是在 /kafka 下创建节点
    # (注意,这里的 /kafka 不是每一个连接都加,而是加到最后)
    zookeeper.connect=192.168.10.131:2181,192.168.10.132:2181,192.168.10.133:2181/kafka
    # 日志文件路径
    log.dirs=/usr/local/kafka/logs

    另外两台服务器的配置,只需要修改 broker.id 的值即可

    比如,第二台服务器 kafka 的配置如下:

    # 集群中每个节点的名称
    broker.id=2
    # 监听端口(这里最好不要配置为 localhost 或 127.0.0.1 ,直接配置 ip,不然会遇到一些问题)
    listeners=PLAINTEXT://192.168.10.132:9092
    advertised.listeners=PLAINTEXT://192.168.10.132:9092
    # zookeeper集群连接配置,如果是zookeeper单机,这里只配置单机的连接ip就好
    # /kafka : 默认是localhost:2181,改成 localhost:2181/kafka, 这样就不会再 zookeeper的根目录创建,而是在 /kafka 下创建节点
    # (注意,这里的 /kafka 不是每一个连接都加,而是加到最后)
    zookeeper.connect=192.168.10.131:2181,192.168.10.132:2181,192.168.10.133:2181/kafka
    # 日志文件路径
    log.dirs=/usr/local/kafka/logs

    4、启动kafka

    TIPS:要确保zookeeper已经启动

    /usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties 

    - 停止kafka

    /usr/local/kafka/bin/kafka-server-stop.sh

    5、其它操作

    - 创建topic

    # 在其中一台kafka上创建一个 topic
    /usr/local/kafka/bin/kafka-topics.sh --create --zookeeper 192.168.10.131:2181/kafka --replication-factor 3 --partitions 1 --topic test-topic

    - 查看创建的topic信息

    # 查看创建的topic信息
    /usr/local/kafka/bin/kafka-topics.sh --describe --zookeeper 192.168.10.131:2181/kafka --topic test-topic

     - 测试发布消息

    bin/kafka-console-producer.sh --broker-list 192.168.10.131:9092 --topic test-topic

    - 测试消费消息

    bin/kafka-console-consumer.sh --bootstrap-server 192.168.10.131:9092 --from-beginning --topic test-topic

    另:

    推荐一个kafka可视化工具(Kafka Tool),见如下博客
    https://www.cnblogs.com/miracle-luna/p/11299345.html

  • 相关阅读:
    Java JMX 监管
    Spring Boot REST(一)核心接口
    JSR 规范目录
    【平衡树】宠物收养所 HNOI 2004
    【树型DP】叶子的颜色 OUROJ 1698
    【匈牙利匹配】无题II HDU2236
    【贪心】Communication System POJ 1018
    【贪心】Moving Tables POJ 1083
    Calling Extraterrestrial Intelligence Again POJ 1411
    【贪心】Allowance POJ 3040
  • 原文地址:https://www.cnblogs.com/lkc9/p/13637504.html
Copyright © 2011-2022 走看看