zoukankan      html  css  js  c++  java
  • 安装部署Kafka集群

    kafka是一个开源的分布式消息订阅系统(消息中间件)

    安装过程

    1.下载kafka_2.11-0.10.1.0.gz(ps:千万不要下错了,博主就是下到了src文件上去了,kafka中的zookeeper起不起来)

    2.上传至/usr/local/src

    3.解压缩,并且移动到上级目录

    4.进入主目录的config子目录,

    5.修改server.properties配置文件

    vim server.properties

    内容如下:

    6.保存并退出

    7.主节点配置完毕,远程复制到另外两个节点

    scp -r /usr/local/kafka_2.11-0.10.1.0   guoyansi129:/usr/local
    scp -r /usr/local/kafka_2.11-0.10.1.0   guoyansi130:/usr/local

    8.修改另外两个节点的server.properties 配置文件

    修改内容分别如下:

    主机:guoyansi129  

    ############################# Server Basics #############################
    broker.id=1
    host.name=guoyansi129
    

    主机guoyansi130

    ############################# Server Basics #############################
    broker.id=2
    host.name=guoyansi130

     9.启动kafka的zookeeper服务

    bin/zookeeper-server-start.sh config/zookeeper.properties

    显示一些信息后;界面进入停顿状态;表示zookeeper启动成功;此时不要关闭窗口;

    10.启动主节点的kafka服务

    新开一个guoyansi128终端;

    启动方式一:退出后,kafka就自动关闭了。

    bin/kafka-server-start.sh config/server.properties

    由于Kafka是作为守护进程加载的,执行上述命令后终端显示停顿状态,这表示系统已经处于后台运行状态,

    所以不要关闭该终端,只要保持当前状态即可。

    启动方式二:退出后,kafka照常运行,提供服务。

    nohup bin/kafka-server-start.sh config/server.properties >> /tmp/out.log &

    上面是进程守护模式启动kafka

    还可以另外开一个终端,执行jps查看当前系统的进程列表

    这里的QuorumPeerMain就是Kafka自带的zookeeper服务进程;

    而kafka自然就是Kafka服务进程。

    11.启动另外两个节点的Kafka服务;执行同样的命令:

    bin/kafka-server-start.sh config/server.properties

    12.主节点创建主题:

    使用kafka,一定需要创建消息主题;

    创建test主题

    bin/kafka-topics.sh --create -zookeeper guoyansi128:2181 --replication-factor 1 --partitions 1 --topic test

    查看主题消息:

    bin/kafka-topics.sh --list --zookeeper guoyansi128:2181

     13.另起终端创建消息生产者

    bin/kafka-console-producer.sh  --broker-list guoyansi128:9092 --topic test

    界面处于等待状态

    14.另起终端创建消息接收者

    bin/kafka-console-consumer.sh  --zookeeper guoyansi128:2181  --topic test --from-beginning

    此时界面同样处于等待状态

    15.从13步的界面(生产者界面)输入信息,就会从14步(接收者界面)看到生产者界面输入的信息。

    16.查看主题中的信息:

    bin/kafka-topics.sh  --describe --zookeeper guoyansi128 --topic test

    17.因为是集群部署,所以可以在任何节点接收消息和创建消息。

  • 相关阅读:
    微服务简介
    docker跨主机通信扁平化网络的设计与实现
    docker学习ppt
    docker原理介绍
    我的博客搬家啦
    响应式之像素和viewport
    换行+省略号
    ITerms2在mac系统下的安装和配色,并和go2shell关联
    利其器之webstorm快捷键
    React入门 (2)—实现微博展示列表
  • 原文地址:https://www.cnblogs.com/guoyansi19900907/p/9961143.html
Copyright © 2011-2022 走看看