zoukankan      html  css  js  c++  java
  • kafka集群搭建

    kafka安装部署

    1、zxvf kafka_2.12-2.0.0.tgz 上传到home/用户下

    目前搭建了三个节点的kafka集群,分别在172.16.41.141172.16.41.142172.16.41.143服务器上

    解压tar -zxvf kafka_2.12-2.0.0.tgz

    先检查21819092端口是否被别的应用所占用

    2、配置文件修改

        cd kafka_2.12-2.0.0/config/

    ①、zookeeper.properties (需要手动创建文件夹/tmp/zookeeper,/tmp/log/zookeeper)

    dataDir=/tmp/zookeeper

    dataLogDir=/tmp/log/zookeeper

    clientPort=2181

    maxClientCnxns=100

    tickTime=2000

    initLimit=10

    syncLimit=5

    server.1=172.16.41.141:2888:3888

    server.2=172.16.41.142:2888:3888

    server.3=172.16.41.143:2888:3888

        进入到/tmp/zookeeper/文件夹下创建myid文件,将三个服务器上的myid文件分别写入 123,如下:myidzk集群用来发现彼此的标识,必须创建,且不能相同;

     

    server.properties(以下字段如果有就修改,如果没有就添加,以下都是)

    路径:vi  server.properties

    21    broker.id=0   #0/1/2

    31  listeners=PLAINTEXT://172.16.41.141:9092  #172.16.41.141:9092/172.16.41.141:9092

    32    host.name=172.16.41.141  #172.16.41.142/172.16.41.143

    123  zookeeper.connect=172.16.41.141:2181,172.16.41.142:2181,172.16.41.143:2181

    126   zookeeper.connection.timeout.ms=6000

    server.properties配置文件的修改主要在开头和结尾,中间保持默认配置即可;需要注意的点是broker.id的值三个节点要配置不同的值,分别配置为012log.dirs必须保证目录存在,不会根据配置文件自动生成;

    ②、zk启动命令:

    自带zk启动(后台启动):cd /kafka_2.12-1.1.0/bin(以下都是在此路径下执行)

    nohup ./zookeeper-server-start.sh ../config/zookeeper.properties 2>&1 &           敲两下回车

     

    kafka启动(后台启动):

    nohup ./kafka-server-start.sh ../config/server.properties 2>&1 &

    敲两下回车

     

    ④、创建topic

    ./kafka-topics.sh --create --zookeeper 172.16.41.141:2181 --replication-factor 1 --partitions 1 --topic NBH

    或者./kafka-topics.sh --create --zookeeper 172.16.41.141:2181 --replication-factor 3 --partitions 3 --topic NBH

    或者./kafka-topics.sh --create --zookeeper 172.16.41.141:2181,172.16.41.142:2181,172.16.41.143:2181 --replication-factor 3 --partitions 3 --topic NBH

     

     ⑤查看所有topic

    ./kafka-topics.sh --list --zookeeper 172.16.41.141:2181

     

  • 相关阅读:
    nowcoderD Xieldy And His Password
    Codeforces681D Gifts by the List
    nowcoder80D applese的生日
    Codeforces961E Tufurama
    Codeforces957 Mahmoud and Ehab and yet another xor task
    nowcoder82E 无向图中的最短距离
    nowcoder82B 区间的连续段
    Codeforces903E Swapping Characters
    Codeforces614C Peter and Snow Blower
    Codeforces614D Skills
  • 原文地址:https://www.cnblogs.com/mayhh/p/9718496.html
Copyright © 2011-2022 走看看