zoukankan      html  css  js  c++  java
  • kafka集群搭建与apiclient创建

    曾经的消息队列(activeMQ)对于大数据吞吐率不行,但kafka非常好的攻克了此类问题。而且以集群的方式进行扩展。可谓相当强大:

    集群搭建方式很轻量级。仅仅需将tar包复制到server,解压,改动配置文件就可以:

    1、tar -xzf kafka_2.9.2-0.8.1.1.tgz

    2、改动配置文件:
    节点1:
    vim config/server.properties
        broker.id=1  //全部集群节点中必须唯一
        port=9092    //端口号(发送消息)
        log.dir=/tmp/kafka-logs-1  //日志存放路径
           host.name=datanode    //域名随便取
           zookeeper.connect=datanode:2181,namenode:2181   //节点间地址
    节点2:
    vim config/server.properties
        broker.id=:2  //全部集群节点中必须唯一
        port=9092    //端口号(发送消息)
        log.dir=/tmp/kafka-logs-1  //日志存放路径
           host.name=namenode    //域名随便取
           zookeeper.connect=datanode:2181,namenode:2181   //节点间地址
    ......
    3、启动zookeeper(最好每台节点都要启动)
       bin/zookeeper-server-start.sh config/zookeeper.properties &
    4、启动kafka每一个节点(每台节点都要启动)
       bin/kafka-server-start.sh config/server.properties &
    5、新建主题topic(仅仅要建一次即可)
       bin/kafka-topics.sh --create --zookeeper namenode:2181 --replication-factor 2 --partitions 2 --topic topic1
    6、查看主题topic
      bin/kafka-topics.sh --describe --zookeeper namenode:2181 --topic topic1
      
    7、新建producer发送消息
       a.bin/kafka-console-producer.sh --broker-list namenode:9092 --topic topic1
    
       b.输入消息 Ctrl+c终止输入
    8、新建consumer消费消息
       bin/kafka-console-consumer.sh --zookeeper namenode:2181 --from-beginning --topic topic1
    OK 集群搞定
    
    
    開始检測javaclient的情况:
    
    
    1、创建生产者:
    
    
    2、创建消费者:
    
    
    
    
    
    
    5、载入partition
    
    
      6、处理消息
    
    
    
    
    检測完成
           
    
    

  • 相关阅读:
    PATA 1071 Speech Patterns.
    PATA 1027 Colors In Mars
    PATB 1038. 统计同成绩学生(20)
    1036. 跟奥巴马一起编程(15)
    PATA 1036. Boys vs Girls (25)
    PATA 1006. Sign In and Sign Out (25)
    读取web工程目录之外的图片并显示
    DOS命令
    java连接oracle集群
    servlet
  • 原文地址:https://www.cnblogs.com/mengfanrong/p/5204654.html
Copyright © 2011-2022 走看看