zoukankan      html  css  js  c++  java
  • kafka 配置及常用命令

    1. 主要配置 config/server.properties

    (1)  broker.id=0  # 集群中,每个 kafka 实例的值都不一样

    (2) log.dirs=/tmp/kafka-logs  #日志文件的位置

    (3) zookeeper.connect=bigdata3:2181,bigdata4:2181,bigdata5:2181  # zookeeper 集群的配置

    如果不使用集群,则可以用不配置 zookeeper.connect 这一项,此时需要先运行下面的命令,启动一个本地的 zookeeper:

    bin/zookeeper-server-start.sh config/zookeeper.properties

    2. 启动 kafka : bin/kafka-server-start.sh config/server.properties

    3. 创建一个 topic:  bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

        此命令为 test 这个 topic 创建了一个分区,副本数为 1,这种情况下,所有 topic 的数据都会存在一个分区上,且只有一份。在 kafka 集群模式下,应该增加 partitions 和 replication-factor 的值。

        zookeeper 为集群模式时, --zookeeper 的值应该是上面 1 中配置的值,如果只写一个 zookeeper 的地址,只要那个 zookeeper 没有死掉,仍然是可以正确运行的。下面命令中的此值做同样处理。

    4. 查看有哪些 topic:  bin/kafka-topics.sh --list --zookeeper localhost:2181

    5. 启动一个生产者,可以往kafka 中发送消息:  bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

    6. 启动一个消费者,消费kafka 中的消息:  bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

    7. 查看哪个topic 的详细信息: bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic

    8. kafka 集群。只要在另外一台电脑上,把 config/server.properties 中的 broker.id 配置成不同的值,然后启动 kafka 就可以了。

  • 相关阅读:
    104. 二叉树的最大深度
    Shopping HDU
    Fibonacci again and again HDU
    Brave Game HDU
    Being a Good Boy in Spring Festival HDU
    88. 合并两个有序数组
    26. 删除排序数组中的重复项
    快速幂
    Rectangles(2018-2019 ACM-ICPC Pacific Northwest Regional Contest (Div. 1))扫描线+线段树
    Liars(2018-2019 ACM-ICPC Pacific Northwest Regional Contest (Div. 1))差分法
  • 原文地址:https://www.cnblogs.com/langfanyun/p/10238766.html
Copyright © 2011-2022 走看看