zoukankan      html  css  js  c++  java
  • Kafka集群搭建

    1、下载安装包(推荐使用迅雷下载,会快一点)

    地址:https://kafka.apache.org/downloads

    2、将安装包拷贝到 /usr/local/ 目录下,并解压

    # 移动到 /usr/local/
    mv kafka.tgz /usr/local/
    
    # 解压
    tar -zxvf kafka.tgz

    3、编辑配置文件

    vi /usr/local/kafka/config/server.properties

    修改如下内容:

    # 集群中每个节点的名称
    broker.id=1
    # 监听端口(这里最好不要配置为 localhost 或 127.0.0.1 ,直接配置 ip,不然会遇到一些问题)
    listeners=PLAINTEXT://192.168.10.131:9092
    advertised.listeners=PLAINTEXT://192.168.10.131:9092
    # zookeeper集群连接配置,如果是zookeeper单机,这里只配置单机的连接ip就好
    # /kafka : 默认是localhost:2181,改成 localhost:2181/kafka, 这样就不会再 zookeeper的根目录创建,而是在 /kafka 下创建节点
    # (注意,这里的 /kafka 不是每一个连接都加,而是加到最后)
    zookeeper.connect=192.168.10.131:2181,192.168.10.132:2181,192.168.10.133:2181/kafka
    # 日志文件路径
    log.dirs=/usr/local/kafka/logs

    另外两台服务器的配置,只需要修改 broker.id 的值即可

    比如,第二台服务器 kafka 的配置如下:

    # 集群中每个节点的名称
    broker.id=2
    # 监听端口(这里最好不要配置为 localhost 或 127.0.0.1 ,直接配置 ip,不然会遇到一些问题)
    listeners=PLAINTEXT://192.168.10.132:9092
    advertised.listeners=PLAINTEXT://192.168.10.132:9092
    # zookeeper集群连接配置,如果是zookeeper单机,这里只配置单机的连接ip就好
    # /kafka : 默认是localhost:2181,改成 localhost:2181/kafka, 这样就不会再 zookeeper的根目录创建,而是在 /kafka 下创建节点
    # (注意,这里的 /kafka 不是每一个连接都加,而是加到最后)
    zookeeper.connect=192.168.10.131:2181,192.168.10.132:2181,192.168.10.133:2181/kafka
    # 日志文件路径
    log.dirs=/usr/local/kafka/logs

    4、启动kafka

    TIPS:要确保zookeeper已经启动

    /usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties 

    - 停止kafka

    /usr/local/kafka/bin/kafka-server-stop.sh

    5、其它操作

    - 创建topic

    # 在其中一台kafka上创建一个 topic
    /usr/local/kafka/bin/kafka-topics.sh --create --zookeeper 192.168.10.131:2181/kafka --replication-factor 3 --partitions 1 --topic test-topic

    - 查看创建的topic信息

    # 查看创建的topic信息
    /usr/local/kafka/bin/kafka-topics.sh --describe --zookeeper 192.168.10.131:2181/kafka --topic test-topic

     - 测试发布消息

    bin/kafka-console-producer.sh --broker-list 192.168.10.131:9092 --topic test-topic

    - 测试消费消息

    bin/kafka-console-consumer.sh --bootstrap-server 192.168.10.131:9092 --from-beginning --topic test-topic

    另:

    推荐一个kafka可视化工具(Kafka Tool),见如下博客
    https://www.cnblogs.com/miracle-luna/p/11299345.html

  • 相关阅读:
    NPM 重新回炉
    构建工具
    工作的环境部署
    Proxy 代理
    Promise 的 用法及实现
    JS 的 继承
    动态规划——LCS
    矩阵连乘——动态规划
    线段树&树状数组
    SpringAOP
  • 原文地址:https://www.cnblogs.com/lkc9/p/13637504.html
Copyright © 2011-2022 走看看