zoukankan      html  css  js  c++  java
  • kafka集群安装配置

    1.下载安装包

    2.解压安装包

    3.进入到kafka的config目录修改server.properties文件

    进入后显示如下:

    修改log.dirs,基本上大部分都是默认配置

     kafka依赖zookeeper保存一些meta信息,所以这些需要配置

    分发安装包到其他节点上

    scp -r ....

    再次修改配置文件(重要)

    依次修改各服务器上配置文件的的broker.id,分别是0,1,2不得重复。

    启动集群

    依次在各节点上启动kafka

    bin/kafka-server-start.sh  config/server.properties

     执行命令的情况如下:

     

    5.4Kafka常用操作命令

    查看当前服务器中的所有topic

    bin/kafka-topcs.sh --list --zookeeper  zk01:2181

    创建topic

    ./kafka-topics.sh --create --zookeeper mini1:2181 --replication-factor 1 --partitions 3 --topic first

    删除topic

    sh bin/kafka-topics.sh --delete --zookeeper zk01:2181 --topic test

    需要server.properties中设置delete.topic.enable=true否则只是标记删除或者直接重启。

    通过shell命令发送消息

    kafka-console-producer.sh --broker-list kafka01:9092 --topic first1

    通过shell消费消息

    sh bin/kafka-console-consumer.sh --zookeeper zk01:2181 --from-beginning --topic test1

    l 查看消费位置

    sh kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper zk01:2181 --group testGroup

    查看某个Topic的详情

    sh kafka-topics.sh --topic test --describe --zookeeper zk01:2181

  • 相关阅读:
    java多线程
    java垃圾回收
    java研发常见问题总结 1
    js获取时间加多山天和时间戳转换成日期
    php时间选择器亲测可以自己修改
    html5时间选择器
    php生成员工编号,产品编号
    桌面远程链接
    SQL 左外连接查询 将右表中的多行变为左表的一列或多列
    PHPMailer发匿名邮件及Extension missing: openssl的解决
  • 原文地址:https://www.cnblogs.com/wzlbigdata/p/8361846.html
Copyright © 2011-2022 走看看