zoukankan      html  css  js  c++  java
  • Kafka集群部署以及使用

    Kafka集群部署

    部署步骤

    hadoop102 hadoop103 hadoop104
    zk zk zk
    kafka kafka kafka

    http://kafka.apache.org/downloads.html

    解压安装文件
    修改配置文件

    $ vi server.properties
    
    
    #broker的全局唯一编号,不能重复
    broker.id=0
    #是否允许删除topic
    delete.topic.enable=true
    #处理网络请求的线程数量
    num.network.threads=3
    #用来处理磁盘IO的线程数量
    num.io.threads=8
    #发送套接字的缓冲区大小
    socket.send.buffer.bytes=102400
    #接收套接字的缓冲区大小
    socket.receive.buffer.bytes=102400
    #请求套接字的最大缓冲区大小
    socket.request.max.bytes=104857600
    #kafka运行日志存放的路径
    log.dirs=/opt/module/kafka/logs
    #topic在当前broker上的分区个数
    num.partitions=1
    #用来恢复和清理data下数据的线程数量
    num.recovery.threads.per.data.dir=1
    #segment文件保留的最长时间,超时将被删除
    log.retention.hours=168
    #配置连接Zookeeper集群地址
    zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181
    
    
    

    配置环境变量

    # vi /etc/profile
    
    #KAFKA_HOME
    export KAFKA_HOME=/opt/module/kafka
    export PATH=$PATH:$KAFKA_HOME/bin
    
    # source /etc/profile
    

    分发安装包到其他机器上

    分别在hadoop103和hadoop104上修改配置文件

    /opt/module/kafka/config/server.properties中的broker.id=1、broker.id=2
    注:broker.id不得重复
    

    启动集群
    依次在hadoop102、hadoop103、hadoop104节点上启动kafka

    $ bin/kafka-server-start.sh config/server.properties &
    
    
    

    关闭集群

    $ bin/kafka-server-stop.sh stop
    

    Kafka命令行操作

    查看当前服务器中的所有topic

    $ bin/kafka-topics.sh --zookeeper hadoop102:2181 --list
    

    创建topic

    $ bin/kafka-topics.sh --zookeeper hadoop102:2181 --create --replication-factor 3 --partitions 1 --topic first
    
    选项说明:
    --topic 定义topic名
    --replication-factor  定义副本数
    --partitions  定义分区数
    
    

    删除topic

    $ bin/kafka-topics.sh --zookeeper hadoop102:2181 --delete --topic first
    
    需要server.properties中设置delete.topic.enable=true否则只是标记删除或者直接重启。
    

    发送消息

    $ bin/kafka-console-producer.sh --broker-list hadoop102:9092 --topic first
    >hello world
    >upuptop
    

    消费消息

    $ bin/kafka-console-consumer.sh --zookeeper hadoop102:2181 --from-beginning --topic first
    
    --from-beginning:会把first主题中以往所有的数据都读取出来。根据业务场景选择是否增加该配置。
    

    查看某个Topic的详情

    $ bin/kafka-topics.sh --zookeeper hadoop102:2181 --describe --topic first 
    

    本博客仅为博主学习总结,感谢各大网络平台的资料。蟹蟹!!

  • 相关阅读:
    LeetCode#237 Delete Node in a Linked List
    数据库概念
    请基于 TCP/IP 五层网络模型描述下当我们在浏览器请求 https ://pp.io 站点时,发生了哪些事情
    高并发大流量
    mysql关于索引
    php基础——会话控制
    php基础——运算符知识
    php基础——常量及数据类型考察
    引用变量和cow机制
    关系基本特性的运算封闭性
  • 原文地址:https://www.cnblogs.com/shaofeer/p/11154296.html
Copyright © 2011-2022 走看看