zoukankan      html  css  js  c++  java
  • Kafka Broker | 命令行选项和过程

    1.目标

    在这个Apache Kafka 教程中,我们将学习Kafka Broker。Kafka Broker管理主题中的消息存储。如果Apache Kafka有多个代理,那就是我们所说的Kafka集群此外,在本Kafka Broker教程中,我们将学习如何启动Kafka Broker和Kafka命令行选项。
    那么,让我们开始Apache Kafka Broker。

    卡夫卡经纪人

    Kafka Broker | 命令行选项和过程

    2.什么是Kafa经纪人?

    Kafka代理也称为Kafka服务器和Kafka节点。这些所有名称都是它的同义词。简单来说,经纪人是两者之间的中介。但是,Kafka经纪人更准确地描述为消息代理,它负责调解不同计算机系统之间的对话,保证将消息传递给正确的各方。
    阅读Apache Kafka Security | Kafka的需求和组件
    因此,Kafka集群通常由多个代理组成。Kafka Cluster使用Zookeeper来维护集群状态。单个Broker每秒可以处理数千次读写操作。 然而,如果没有性能影响,每个代理都可以处理TB消息。另外,要非常肯定ZooKeeper会执行经纪人领袖选举。

    卡夫卡经纪人

    经纪人在卡夫卡的工作

    基本上,Kafka中的经纪人被建模为主持主题的KafkaServer。在这里,给定的主题总是在代理之间进行分区,在集群中,单个代理实际上托管一个或多个主题的主题分区,即使主题仅分区到单个分区也是如此。
    了解Apache Kafka Consumer | Kafka Consumer的示例
    此外,生产者在收到经纪人将其存储在由唯一偏移量键入的磁盘上后,向代理发送消息。此外,通过主题,分区和偏移,代理允许消费者获取消息。但是,代理可以通过使用Zookeeper直接或间接地相互共享信息来创建群集。此外,我们可以说Kafka集群只有一个代理作为控制器。通过使用kafka-server-start.sh脚本,我们可以启动一个Kafka经纪人。

    3.如何启动Kafka Broker?

    • 启动Zookeeper。
    1. ./bin/zookeeper-server-start.sh config / zookeeper.properties

    我们可以启动一个Kafka服务器,只有当Zookeeper启动并运行时(它将连接到Zookeeper)。

    1. ./bin/kafka-server-start.sh config / server.properties
    2. kafka-server-start.sh脚本

    因此,kafka-server-start.sh 启动经纪人。

    1. $ ./bin/kafka-server-start.sh
    2. 用法:./ bin / kafka-server-start.sh [ -daemon ] server.properties [ --override property = value ] *

    注意 -在运行kafka-server-start.sh 之前,请确保Zookeeper已启动并运行而且,使用zookeeper-server-start shell脚本。
    看看Apache Kafka + Spark Streaming Integration
    kafka-server-start.sh 使用config / log4j.properties来记录我们可以使用KAFKA_LOG4J_OPTS 环境变量覆盖的配置

    1. KAFKA_LOG4J_OPTS = “ - Dlog4j.configuration = file:config / log4j.properties”

    kafka-server-start.sh 接受KAFKA_HEAP_OPTS和EXTRA_ARGS 环境变量。

    4.卡夫卡命令行选项

    -name 
    在守护进程模式下默认为kafkaServer。
    -loggc 
    在守护进程模式下启用。
    -daemon 
    启用守护程序模式。
    -override property = value 
    应覆盖server.properties文件中为property设置的值的值。
    让我们修改Apache Kafka Streams | 流处理拓扑

    1. $ ./bin/kafka-server-start.sh config / server.properties --override broker.id = 100
    2. ...
    3. 信息[ KafkaServer id = 100 ]已启动kafka.server.KafkaServer

    5.结论

    因此,我们已经学习了完整的Kafka Broker以及启动它的命令。但是,如果有任何疑问,请随时在评论部分询问。
    另请参阅 -  
    Kafka-序列化和反序列化以

  • 相关阅读:
    bzoj2431[HAOI2009]逆序对数列
    wikioi1082【线段树练习 3 】
    bzoj1715[Usaco2006 Dec]Wormholes 虫洞
    bzoj1676[Usaco2005 Feb]Feed Accounting 饲料计算
    bzoj1677[Usaco2005 Jan]Sumsets 求和
    bzoj1679[Usaco2005 Jan]Moo Volume 牛的呼声
    bzoj1680[Usaco2005 Mar]Yogurt factory
    bzoj1681[Usaco2005 Mar]Checking an Alibi 不在场的证明
    bzoj2705[SDOI2012]Longge的问题
    bzoj1627[Usaco2007 Dec]穿越泥地
  • 原文地址:https://www.cnblogs.com/a00ium/p/10852405.html
Copyright © 2011-2022 走看看