zoukankan      html  css  js  c++  java
  • kafka集群搭建

    kafka安装部署

    1、zxvf kafka_2.12-2.0.0.tgz 上传到home/用户下

    目前搭建了三个节点的kafka集群,分别在172.16.41.141172.16.41.142172.16.41.143服务器上

    解压tar -zxvf kafka_2.12-2.0.0.tgz

    先检查21819092端口是否被别的应用所占用

    2、配置文件修改

        cd kafka_2.12-2.0.0/config/

    ①、zookeeper.properties (需要手动创建文件夹/tmp/zookeeper,/tmp/log/zookeeper)

    dataDir=/tmp/zookeeper

    dataLogDir=/tmp/log/zookeeper

    clientPort=2181

    maxClientCnxns=100

    tickTime=2000

    initLimit=10

    syncLimit=5

    server.1=172.16.41.141:2888:3888

    server.2=172.16.41.142:2888:3888

    server.3=172.16.41.143:2888:3888

        进入到/tmp/zookeeper/文件夹下创建myid文件,将三个服务器上的myid文件分别写入 123,如下:myidzk集群用来发现彼此的标识,必须创建,且不能相同;

     

    server.properties(以下字段如果有就修改,如果没有就添加,以下都是)

    路径:vi  server.properties

    21    broker.id=0   #0/1/2

    31  listeners=PLAINTEXT://172.16.41.141:9092  #172.16.41.141:9092/172.16.41.141:9092

    32    host.name=172.16.41.141  #172.16.41.142/172.16.41.143

    123  zookeeper.connect=172.16.41.141:2181,172.16.41.142:2181,172.16.41.143:2181

    126   zookeeper.connection.timeout.ms=6000

    server.properties配置文件的修改主要在开头和结尾,中间保持默认配置即可;需要注意的点是broker.id的值三个节点要配置不同的值,分别配置为012log.dirs必须保证目录存在,不会根据配置文件自动生成;

    ②、zk启动命令:

    自带zk启动(后台启动):cd /kafka_2.12-1.1.0/bin(以下都是在此路径下执行)

    nohup ./zookeeper-server-start.sh ../config/zookeeper.properties 2>&1 &           敲两下回车

     

    kafka启动(后台启动):

    nohup ./kafka-server-start.sh ../config/server.properties 2>&1 &

    敲两下回车

     

    ④、创建topic

    ./kafka-topics.sh --create --zookeeper 172.16.41.141:2181 --replication-factor 1 --partitions 1 --topic NBH

    或者./kafka-topics.sh --create --zookeeper 172.16.41.141:2181 --replication-factor 3 --partitions 3 --topic NBH

    或者./kafka-topics.sh --create --zookeeper 172.16.41.141:2181,172.16.41.142:2181,172.16.41.143:2181 --replication-factor 3 --partitions 3 --topic NBH

     

     ⑤查看所有topic

    ./kafka-topics.sh --list --zookeeper 172.16.41.141:2181

     

  • 相关阅读:
    null in ABAP and nullpointer in Java
    SAP ABAP SM50事务码和Hybris Commerce的线程管理器
    Hybris service layer和SAP CRM WebClient UI架构的横向比较
    SAP ABAP和Linux系统里如何检查网络传输的数据量
    SAP CRM WebClient UI和Hybris的controller是如何被调用的
    SAP CRM和Cloud for Customer订单中的业务伙伴的自动决定机制
    SAP CRM WebClient UI和Hybris CommerceUI tag的渲染逻辑
    SAP BSP和JSP页面里UI元素的ID生成逻辑
    微信jsapi支付
    微信jsapi退款操作
  • 原文地址:https://www.cnblogs.com/mayhh/p/9718496.html
Copyright © 2011-2022 走看看