zoukankan      html  css  js  c++  java
  • Kafka

    kafka术语

    Kafka Cluster : Kafka集群

    Broker:  kafka集群中的所有节点(安装了kafka软件的这台节点),我们称之为broker每台broker有唯一的标识;

    Producer: 往kafka里面生产数据的一端,叫做produce;

    Consumer: 从kafka里面消费数据的一端,称之为Consumer;

    Topic:producer将数据发送到Kafka里面,数据是按照主题进行存储的;

    partition :Kafka主题下存储数据的时候,是按照分区进行存储的;

    Leader:在Kafka里面,数据是存在副本概念的,数据中,除了副本之外的那个数据分区,是leader,leader对外提供读写服务;

    Follower:某个分区的数据副本,主要同步leader数据;

    Replication:每个分区的数据是存在副本的

    Cotroller:负载均衡,保证一台机器中不会存在多个leader

    groupid:每个消费者都会拥有一个id,用来标识自己消费数据的记录

    __Consumer_offsets(主题):记录着某个groupid消费数据的记录(如,zhangsan :100)

    Kafka集群的搭建(都是四部曲了,只讲述配置修改内容):

      下载

      上传

      解压

      修改配置:

        config/server.properties

          broker.id = 0

               listeners = host:9092

          num.partitions = n*2

          zookeeper = ...

  • 相关阅读:
    【原创】虚拟机上实现绑定固定IP扩主机容器互访
    docker entrypoint入口文件详解
    数据库博客推荐
    docker下centos安装ping命令
    Dockerfile指令详解
    Elasticsearch Java API 的使用
    docker容器里面安装ssh
    RPM安装命令总结
    Docker容器的跨主机连接
    使用Java程序片段动态生成表格
  • 原文地址:https://www.cnblogs.com/beiyi888/p/9838132.html
Copyright © 2011-2022 走看看