zoukankan      html  css  js  c++  java
  • 消费者端

    消息队列两种模式

    1.点对点:一对一,消费者主动拉取数据,消息收到后消息清除
    2.发布/订阅模式:一对多,消费者消费数据之后不会消除消息

    • 推-->以同样的方式传给消费者,可能导致消费者资源处理不足或消费者资源浪费(不同消费者处理能力不一样)
    • 拉取-->消费者要不断轮询队列中是否有消息

    基础架构

    Zookeeper在Kafka中的作用

    Kafka集群中有一个broker会被选举为Controller,负责管理集群broker的上下线,所有topic的分区副本分配和leader选举等工作。Controller的管理工作都是依赖于ZooKeeper的。

    消费者分区分配策略

    • RoundRobin
    • Range

    1.轮询策略中,会把消费者订阅的一个或多个主题当成一个整体,适合于订阅相同主题的消费者
    2.Range策略,以订阅的主题为主体,平均分给消费者

    offset维护

    1.0.9版本之后,消费者读取的内容offset信息存在kafka端
    2.修改配置文件consumer.properties

    exclude.internal.topics=false;
    

    2.读取offset

    bin/kafka-console-consumer.sh --topic __consumer_offsets --zookeeper hadoop:2181 --formatter"kafka.coordinator.group.GroupMetadataManager$OffsetsMessageFormatter" --consumer.config config/consumer.properties --from-beginning
    
  • 相关阅读:
    中产阶级_百度百科
    第二天--设置一个数据模型
    请大家支持珊瑚虫~~请大家帮帮soff~~
    Linux Socket学习(十二)
    Debian下调整时间
    Emacs 牵手 scim
    Linux Socket学习(十三)
    mplayer解码
    创建第一个Symfony工程
    页面的基本创建
  • 原文地址:https://www.cnblogs.com/zqzhen/p/12945377.html
Copyright © 2011-2022 走看看