zoukankan      html  css  js  c++  java
  • kafka集群搭建

    kafka安装部署

    1、zxvf kafka_2.12-2.0.0.tgz 上传到home/用户下

    目前搭建了三个节点的kafka集群,分别在172.16.41.141172.16.41.142172.16.41.143服务器上

    解压tar -zxvf kafka_2.12-2.0.0.tgz

    先检查21819092端口是否被别的应用所占用

    2、配置文件修改

        cd kafka_2.12-2.0.0/config/

    ①、zookeeper.properties (需要手动创建文件夹/tmp/zookeeper,/tmp/log/zookeeper)

    dataDir=/tmp/zookeeper

    dataLogDir=/tmp/log/zookeeper

    clientPort=2181

    maxClientCnxns=100

    tickTime=2000

    initLimit=10

    syncLimit=5

    server.1=172.16.41.141:2888:3888

    server.2=172.16.41.142:2888:3888

    server.3=172.16.41.143:2888:3888

        进入到/tmp/zookeeper/文件夹下创建myid文件,将三个服务器上的myid文件分别写入 123,如下:myidzk集群用来发现彼此的标识,必须创建,且不能相同;

     

    server.properties(以下字段如果有就修改,如果没有就添加,以下都是)

    路径:vi  server.properties

    21    broker.id=0   #0/1/2

    31  listeners=PLAINTEXT://172.16.41.141:9092  #172.16.41.141:9092/172.16.41.141:9092

    32    host.name=172.16.41.141  #172.16.41.142/172.16.41.143

    123  zookeeper.connect=172.16.41.141:2181,172.16.41.142:2181,172.16.41.143:2181

    126   zookeeper.connection.timeout.ms=6000

    server.properties配置文件的修改主要在开头和结尾,中间保持默认配置即可;需要注意的点是broker.id的值三个节点要配置不同的值,分别配置为012log.dirs必须保证目录存在,不会根据配置文件自动生成;

    ②、zk启动命令:

    自带zk启动(后台启动):cd /kafka_2.12-1.1.0/bin(以下都是在此路径下执行)

    nohup ./zookeeper-server-start.sh ../config/zookeeper.properties 2>&1 &           敲两下回车

     

    kafka启动(后台启动):

    nohup ./kafka-server-start.sh ../config/server.properties 2>&1 &

    敲两下回车

     

    ④、创建topic

    ./kafka-topics.sh --create --zookeeper 172.16.41.141:2181 --replication-factor 1 --partitions 1 --topic NBH

    或者./kafka-topics.sh --create --zookeeper 172.16.41.141:2181 --replication-factor 3 --partitions 3 --topic NBH

    或者./kafka-topics.sh --create --zookeeper 172.16.41.141:2181,172.16.41.142:2181,172.16.41.143:2181 --replication-factor 3 --partitions 3 --topic NBH

     

     ⑤查看所有topic

    ./kafka-topics.sh --list --zookeeper 172.16.41.141:2181

     

  • 相关阅读:
    JS时钟--星期 年 月 日 时 分
    [考试反思]0825NOIP模拟测试30:没落
    [考试反思]0822NOIP模拟测试29:延续
    [考试反思]0821NOIP模拟测试28:沉默
    小奇的仓库:换根dp
    短期Flag
    [考试反思]0820NOIP模拟测试27:幻影
    [考试反思]0819NOIP模拟测试26:荒芜
    0818NOIP模拟测试25——B卷简记
    [模板]tarjan——最后通牒
  • 原文地址:https://www.cnblogs.com/mayhh/p/9718496.html
Copyright © 2011-2022 走看看