zoukankan      html  css  js  c++  java
  • kafka笔记2

    Kafka是使用java开发的程序,所以它可以运行在多种操作系统上,安装Kafka之前,需要先安装Java环境,再安装zookeeper

    broker常规配置

    1.broker.id

    每个broker都需要有一个标识符,使用broker.id来表示,在整个集群上必须唯一,建议把他们设置成与机器名具有相关性的整数。

    2.port

    默认情况下启动Kafka,它会监听9092端口,也可以设置其他端口。

    3.zookeeper.connect

    用于保存broker元数据的zookeeper地址,类似localhost:2181,表示这个zookeeper运行在本地的2181端口上。

    4.log.dirs

    Kafka把消息保存在磁盘上,地址用log.dirs指定,它是一组逗号分隔的本地文件系统路径。

    5.num.recovery.threads.per.data.dir

    正常启动或者重启后Kafka使用可配置的线程池处理消息片段,设置大量线程可以节省时间。这个数字乘以log.dirs得到总的线程数。

    6.auto.create.topics.enable

    是否显式创建主题,如果手动创建,可以设为false。

    Kafka默认设置

    1.num.partitions

    一个主题需要多少分区

    2.log.retention.ms

    数据可以保留多久,默认是168小时

    3.log.retention.bytes

    每个分区保留数据的最大字节数,如果设置为1G,当前主题8个分区,则这个主题最多保存8G数据。

    4.log.segment.bytes

    日志片段的最大长度

    5.log.segments.ms

    日志片段多长时间会被关闭,和上一个条件在一起,只要一个得到满足,日志片段就会被关闭。

    6.message.max.bytes

    单个消息的大小,默认是1000000(1MB),如果生产者发送的消息超过这个,就会收到错误信息。

  • 相关阅读:
    Adobe Acrobat XI Pro破解版 v11.0.10中文版
    linux经典面试题
    P1540 机器翻译(STL 链表)
    P1067 多项式输出 (模拟)
    P1003 铺地毯
    [CF547C] Mike and Foam
    [CF351B] Jeff and Furik
    [CF900D] Unusual Sequences
    [CF568B] Symmetric and Transitive
    [CF893E] Counting Arrays
  • 原文地址:https://www.cnblogs.com/wangbin2188/p/10350660.html
Copyright © 2011-2022 走看看