zoukankan      html  css  js  c++  java
  • kafka基础知识点

    1、安装:

      1.1. 前置安装要求:java + zookeeper

      1.2. 下载安装包:http://mirros.cnnic.cn/apache/kafka/0.9.00/kafka_2.10-0.9.0.0.tgz

      1.3. 执行安装命令:kafka-server-start.sh ../config/server.properties &

    2、基本组件

      2.1 Producer: 消息生产者

      2.2 Consumer: 消费消费者

      2.3 Broker:一台kafka服务器被称为一个broker,整个集群可由多个 Broker组成

      2.4 Partition:一个Topic在物理上可以划分为多个Partition,每个Partition可以理解为独立的物理队列(文件载体),

        该Partition可以被负载到不同的Broker上实现Kafka的水平扩展;

      2.5 Topic:消息队列

    3、常用的命令

      3.1 创建一个topic

    ./kafka-topics.sh --zookeeper localhost:2181 --create --topic test01  --partitions 3  --replication-factor 1

      3.2 查看当前所有的topic

    ./kafka-topics.sh --zookeeper localhost:2181 --list

      3.3 在控制台启动一个生产者

    ./kafka-console-producer.sh --broker-list localhost:9092 --topic test01

      3.4 在控制台启动一个消费者

    ./kafka-console-consumer.sh --zookeeper localhost:2181 --topic test01 --from-beginning

      3.5 启动一个消费者并制定消费者组

    ./kafka-console-consumer.sh --consumer.config ../config/consumer.properties --zookeeper localhost:2181 --topic test01 --from-beginning

      在consumer.properties中设置消费者组,一个消费者组可以包含多个消费者
      #consumer group id
      group.id=tg

      3.6 查看某个topic的消费进度,必须以消费者组为单位

    ./kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --group tg01 --zookeeper localhost:2181

    如上例,不同的消费者组对于用一个topic,读的进度(偏移)是不一样的

      3.7 查看topic详情

    ./kafka-topics.sh --describe --zookeeper localhost:2181 --topic test02

  • 相关阅读:
    PHP命令行执行程序php.exe使用及常用参数
    如何搜百度云盘里别人分享的文件
    WIN8下笔记本共享热点的设置
    COMPANY_点取消会卡死的解决方法
    python urllib
    windows技术
    五分钟搞定Linux容器
    分分钟教你制作完美的虚拟机镜像
    事件日志监控工具推荐
    Linux服务器管理员必备Linux命令TOP5
  • 原文地址:https://www.cnblogs.com/Fredric-2013/p/7592738.html
Copyright © 2011-2022 走看看