zoukankan      html  css  js  c++  java
  • Docker下kafka学习三部曲之一:极速体验kafka

    Kafka是一种高吞吐量的分布式发布订阅消息系统,从本章开始我们先极速体验,再实战docker下搭建kafka环境,最后开发一个java web应用来体验kafka服务。

    我们一起用最快的速度体验kafka的消息发布订阅功能:

    新建一个docker-compose.yml文件,内容如下:

    version: '2'
    services:
      zk_server: 
        image: daocloud.io/library/zookeeper:3.3.6
        restart: always
      kafka_server: 
        image: bolingcavalry/kafka:0.0.1
        links: 
          - zk_server:zkhost
        command: /bin/sh -c '/usr/local/work/start_server.sh'
        restart: always
      message_producer: 
        image: bolingcavalry/kafka:0.0.1
        links: 
          - zk_server:zkhost
          - kafka_server:kafkahost
        restart: always
      message_consumer: 
        image: bolingcavalry/kafka:0.0.1
        links: 
          - zk_server:zkhost
        restart: always
    

    打开终端,在docker-compose.yml所在目录下执行docker-compose up -d,由于需要从hub.docker.com下载镜像,所以需要等待几分钟,下载结束后会自动启动四个容器,如下图:

    这里写图片描述

    为了更好的观察效果,我们要打开三个终端对不同的容器做操作,在后面我们用编号来表达不同的终端,编号对应如下:

    1号 : kafka server
    2号 : 消息生产者(producer)
    3号 : 消息消费者(consumer)

    1号终端中输入以下命令,即可看到kafka server的实时输出信息:

    docker logs -f dockerkafka_kafka_server_1
    

    输入命令后看到的信息如下图,与zookeeper连接成功,启动成功:

    这里写图片描述

    2号终端中输入以下命令,进入消息生产者容器:

    docker exec -it dockerkafka_message_producer_1 /bin/bash
    

    再执行以下命令创建一个主题:

    $WORK_PATH/$KAFKA_PACKAGE_NAME/bin/kafka-topics.sh --create --zookeeper zkhost:2181 --replication-factor 1 --partitions 1 --topic test001
    

    3号终端中输入以下命令,进入消息消费者容器:

    docker exec -it dockerkafka_message_consumer_1 /bin/bash
    

    执行以下命令可以查看当前kafka sever上的所有主题:

    $WORK_PATH/$KAFKA_PACKAGE_NAME/bin/kafka-topics.sh --list --zookeeper zkhost:2181
    

    可以看到刚才在2号终端创建的主题,如下图:

    这里写图片描述

    继续在3号终端上执行以下命令,即可订阅主题为test001的消息:

    $WORK_PATH/$KAFKA_PACKAGE_NAME/bin/kafka-console-consumer.sh --zookeeper zkhost:2181 --topic test001 --from-beginning
    

    此时回到1号终端,可以看到消息订阅者容器的连接信息,如下图:

    这里写图片描述

    现在主题也创建了,订阅也添加了,可以测试消息的发送和接收了:

    在2号终端,执行以下命令,就可以进入发送消息的交互模式:

    $WORK_PATH/$KAFKA_PACKAGE_NAME/bin/kafka-console-producer.sh --broker-list kafkahost:9092 --topic test001
    

    此时已经进入了交互模式,继续输入一个字符串,例如hello world!,再输入回车键,即可发送内容为"hello world!"的消息,如下图:

    这里写图片描述

    现在回到3号终端,可以看到已经接收到了最新的消息,内容被打印出来了,如下图:

    这里写图片描述

    最后我们回到1号终端,能看到消息生产者的连接信息,如下图:

    这里写图片描述

    至此,我们快速体验了kafka的消息发布订阅功能,下一章我们再细说docker下kafka环境的搭建过程。

    欢迎关注我的公众号:程序员欣宸

  • 相关阅读:
    arthas-常用命令
    k8s-容器技术-Mount Namespace
    k8s-statefulset介绍
    k8s-yaml配置文件
    k8s-控制器模式
    k8s-pod使用
    k8s-pod简介(半原创)
    k8s-安装我们第一个集群
    k8s-安装
    Corn表达式详解(转)
  • 原文地址:https://www.cnblogs.com/bolingcavalry/p/11539551.html
Copyright © 2011-2022 走看看