zoukankan      html  css  js  c++  java
  • kafka集群搭建记录

    本文记录搭建kafka搭建过程。

    一、硬件机器介绍

    192.168.183.195 master-node

    192.168.183.194 data-node1

    192.168.183.196 data-node2

    二、集群搭建

    master-node操作如下:

    下载kafka包

    wget http://mirror.bit.edu.cn/apache/kafka/2.2.0/kafka_2.11-2.2.0.tgz 

    解压

    tar -zxvf  kafka_2.11-2.2.0.tgz  -C /usr/local

    配置:

    进入 /usr/local/kafka_2.11_2.2.0 

    vim config/server.properties

    修改:

    broker.id = 1      //分布式的部署,每个broker的id不能相同;

    listeners=PLAINTEXT://master-node:9092 //这里的配置规范是listeners = listener_name://host_name:port,因此你要确定你的host_name,可以vim /etc/hostname看到

    zookeeper.connect=master-node:2181,data-node1:2181,data-node2:2181 //zookeeper的连接地址,关于zookeeper集群的搭建可以查看https://www.cnblogs.com/ldsggv/p/11006184.html

    到这里master-node机器配置完成,下面可以通过scp命令把/usr/local/kafka_2.11_2.2.0传输到其他俩台机器,如果当前用户没有足够权限,可以scp kafka的按照包,然后安装上面的步骤再一次操作。

    启动:

    在三台机器上,进入kafka安装目录,执行

    bin/kafka-server-start.sh config/server.properties

    此时集群已经启动;

    验证:

    一、打开zkCli.sh;

    执行 ls /

    可以看到:

    可以进入到/brokers/ids查看brokers的id

    二、官网例子

    1、创建topic

    bin/kafka-topics.sh --create --bootstrap-server master-node:9092 --replication-factor 3 --partitions 1 --topic my-replicated-topic

    2、bin/kafka-topics.sh --describe --bootstrap-server master-node:9092 --topic my-replicated-topic   查看topic信息

    3、启动生产者

    bin/kafka-console-producer.sh --broker-list master-node:9092 --topic my-replicated-topic  

    可以输入一些测试信息

    4、启动消费者

    bin/kafka-console-consumer.sh --bootstrap-server master-node:9092 --from-beginning --topic my-replicated-topic

    这里的--from-begining代表从最开始消息消费。

    如果上面四个步骤顺利完成,那么kafka集群搭建完成,后续的配置,优化可以参考官网的配置说明。

  • 相关阅读:
    maven 私服的setting.xml配置
    制作移动版Win8系统
    spring jar 下载
    tomcat 卡在加载项目 解决办法
    ubuntu tomcat apr 安装
    js 对象数组 根据对象中的元素去重
    ztree 获取根节点
    自定义的强大的UITableViewCell
    CALayer与UIView的关系
    iOS 沙盒文件操作
  • 原文地址:https://www.cnblogs.com/ldsggv/p/11010497.html
Copyright © 2011-2022 走看看