zoukankan      html  css  js  c++  java
  • kafka1:Kafka集群部署步骤

    参考:
    细细品味Kafka_Kafka简介及安装_V1.3 http://www.docin.com/p-1291437890.html
     
    一. 准备工作:
        1. 准备3台机器,IP地址分别为:192.168.3.230(233,234)
        2. 下载kafka稳定版本,我的版本为:Scala 2.11  - kafka_2.11-0.9.0.0.tgz
            http://kafka.apache.org/downloads.html
        3. 分别解压放入到想安装的目录下,我的目录为:/home/rasa 解压命令为:
            tar -xzf *.tgz
     
    二、搭建zookeeper集群
        1.进入解压后的目录/home/rasa/kafka_2.11-0.9.0.0
        2. 进入config目录下,修改zookeeper.properties文件(所有机器相同)
            tickTime =2000
            dataDir =/data/zookeeper/
            clientPort =2181
            initLimit =5
            syncLimit =2
            server.1 =192.168.3.230:2888:3888
            server.2 =192.168.3.233:2888:3888
            server.3 =192.168.3.234:2888:3888
     
        3.在dataDir目录/data/zookeeper/下写一个myid文件,命令如下:
            echo 1 >myid
            注意:这个id是zookeeper的主机标示,每个主机id不同第二台是2 第三台是3。
     
        4.逐次启动3台机器的zookeeper 构成一个集群:
            > bin/zookeeper-server-start.sh config/zookeeper.properties &
            由于ZooKeeper集群启动的时候,每个结点都试图去连接集群中的其它结点,先启动的肯定连不上后面还没启动的,所以打印出来的部分的异常是可以忽略的。集群在选出一个Leader后,最后稳定了。其他结点可能也出现类似问题,属于正常。
     
    三、搭建kafka集群
        1.进入config目录,修改server.properties(逐个机器修改)
            broker.id =1(其他机器为 2/3
            port =9092
            zookeeper.connect= 192.168.3.230:2181,192.168.3.233:2181,192.168.3.234:2181
            log.dirs =/home/rasa/kafka-logs
            host.name =192.168.3.230
            advertised.host.name =192.168.3.230
        2.启动每台服务器的kafka:
            > bin/kafka-server-start.sh config/server.properties &
     
    四、测试集群
        1.创建一个topic
            > bin/kafka-topics.sh --create --zookeeper 192.168.3.230:2181 --replication-factor 3 --partitions 1
                --topic test-topic
     
        2.查看创建的topic
            > bin/kafka-topics.sh --describe --zookeeper 192.168.3.230:2181 --topic test-topic
                Topic:test-replicated-topic    PartitionCount:1    ReplicationFactor:3    Configs:
                Topic: test-replicated-topic    Partition: 0    Leader: 1    Replicas: 1,2,0    Isr: 1,2,0
     
         3.查看topic列表
              > bin/kafka-topics.sh --list --zookeeper 192.168.3.230 :2181 
        test
        test-topic
        查看列表及具体信息
              > bin/kafka-topics.sh --zookeeper localhost --describe
     
        4.查看集群情况:
            >bin/kafka-topics.sh --describe --zookeeper 192.168.3.233:2181 --topic test-topic
            >bin/kafka-topics.sh --describe --zookeeper 192.168.3.234:2181 --topic test-topic
            发现都能看到test-topic。
     
         5.生产消息
              > bin/kafka-console-producer.sh --broker-list 192.168.3.234:9092 -topic test-topic
         6.消费消息
              > bin/kafka-console-consumer.sh --zookeeper 192.168.3.234:2181 --from-beginning --topic test-topic
     
     
  • 相关阅读:
    每天出门前,记得提醒自己一遍,别落下了梦想
    逐帧动画 and 有限状态机(fsm)
    【备忘】指定为同名callback的jsonp && IE下script loaded状态标记
    【NodeCC】nodejs版本的脚本压缩和compo工具
    半年拾遗
    context2D上的texture mapping
    软件系统配置UI(QT)
    MongoDB增加排序内存版本4.4.1
    搭建Mingw64环境并使用git管理ffmpeg
    js 运算符
  • 原文地址:https://www.cnblogs.com/myparamita/p/5219487.html
Copyright © 2011-2022 走看看