zoukankan      html  css  js  c++  java
  • Kafka集群搭建和配置

    Kafka配置优化

    https://www.jianshu.com/p/f62099d174d9

    1.安装&配置

    下载tar包

    解压后即可使用

    修改配置文件

    将server.properties复制和修改为三个配置文件(为启动3个kafka服务做准备)

    设置broker.id,集群中各节点的标识,要求不重复

    绑定端口和ip

    设置日志文件(数据文件)存放位置

    设置zk地址和连接超时时间(为方便演示,使用kafka自带的zk)

    另外两个配置文件参考以上配置,并设置端口为9092,,9094

    2.自动zk

    kafka集群的高可用依赖zk,启动kafka之前要先启动zk(生产环境应使用独立的zk集群)

    为方便查看日志,这里使用前台启动方式,生产环境应使用daemon方式

    3.启动kafka集群

    kafka集群是去中心化的,所以无需关注集群中各服务的启动书序

    同样的,为了方便查看日志,测试时使用前台启动方式

     

    启动另外两个kafka broker服务,可以看到kafka集群和zk都已启动

    4.通过kafka自带的console producer和consumer测试订阅和发布

     创建一个topic(新版本的kafka,offset存放在topic中)

    启动console producer,kafka是去中心化的,连接集群中任何一个节点都可以进行消息发布,kafka会在内部进行同步

    启动console consumer

    在producer窗口发布消息

    consumer成功消费到了消息

  • 相关阅读:
    6.Go-错误,defer,panic和recover
    5.Go-封装、继承、接口、多态和断言
    php 实现店铺装修2
    php 实现店铺装修1
    安装lnmp1.5到最后出现Error: MySQL install failed的解决方法
    wdcp升级php5.8到php7.1.12后安装gitlab
    支付密码设置和登录密码设置
    什么样的女孩适合做老婆
    用邮箱做网页
    生源地助学贷款
  • 原文地址:https://www.cnblogs.com/zhya/p/9639815.html
Copyright © 2011-2022 走看看