zoukankan      html  css  js  c++  java
  • Kafka集群模式部署

    环境:kafka 0.8.1.1

    基本概念

    1. Kafka维护按类区分的消息,称为主题(topic)
    2. 生产者(producer)向kafka的主题发布消息
    3. 消费者(consumer)向主题注册,并且接收发布到这些主题的消息
    4. kafka以一个拥有一台或多台服务器的集群运行着,每一台服务器称为broker

    zookeeper配置

    修改zk的配置文件conf/zoo.cfg

    server.1=zk1:2888:3888  
    server.2=zk2:2888:3888  
    server.3=zk3:2888:3888
    

    启动zookeeper集群

    $ZK_HOME/bin/zkServer.sh start 
    

    kafka配置

    分别修改kafka集群中每个节点的config/server.properties,这里做的是最简配置

    #不同的节点上broker不同,可以从0开始递增
    broker.id=0
    
    #本地ip
    host.name=本机ip
    
    #broker端口号(默认为9092)
    port=9092
    
    #kafkalog日志位置
    log.dirs=/data/kafka-logs
    
    #zookeeper地址(zk监听端口默认为2181)
    zookeeper.connect=zk1:2181,zk2:2181,zk3:2181
    

    启动broker(每台节点都要执行)

    bin/kafka-server-start.sh config/server.properties
    

    测试

    #创建topic(3分区,2备份)
    bin/kafka-topics.sh --create --zookeeper zk1:2181,zk2:2181,zk3:2181 --replication-factor 2 --partitions 3 --topic test
    
    #查看存在的topic
    bin/kafka-topics.sh --zookeeper zk1:2181,zk2:2181,zk3:2181 --list
    
    #往topic中写入消息
    bin/kafka-console-producer.sh --broker-list zk1:9092,zk2:9092,zk3:9092 --topic test
    
    #查看topic中信息
    bin/kafka-console-consumer.sh --zookeeper zk1:2181,zk2:2181,zk3:2181 --topic tesr --from-beginning
  • 相关阅读:
    std thread
    windows更新包发布地址
    How to set up logging level for Spark application in IntelliJ IDEA?
    spark 错误 How to set heap size in spark within the Eclipse environment?
    hadoop 常用命令
    windows 安装hadoop 3.2.1
    windows JAVA_HOME 路径有空格,执行软连接
    day01MyBatisPlus条件构造器(04)
    day01MyBatisPlus的CRUD 接口(03)
    day01MyBatisPlus入门(02)
  • 原文地址:https://www.cnblogs.com/zhangyunlin/p/6168183.html
Copyright © 2011-2022 走看看