kafka学习笔记01-docker搭建kafka集群

Docker部署kafka集群

前提: 安装docker和docker-compose

下载镜像

在dockerhub上搜索kafka, 发现并没有官方镜像, star数最多的wurstmeister/kafka, 他的描述信息就是支持多台kafka集群的, 这里我们就使用这个镜像

同时kafka运行是需要依赖于zookeeper的, 所以也需要下载zookeeper镜像, 搜索发现zookpeer有官方镜像, 也有wurstmeister/zookeeper的镜像, 这里为了配合wurstmeister/kafka, 于是下载的镜像还是wurstmeister/zookeeper

docker pull wurstmeister/kafka
docker pull wurstmeister/zookeeper

来到wurstmeister/kafka的GitHub地址:https://github.com/wurstmeister/kafka-docker, 可以查看使用文档, 这里我们也需要将GitHub上这些文件clone下来, 因为后面命令中会使用到

git clone https://github.com/wurstmeister/kafka-docker.git

启动kafka容器

cd进入到本地clone kafka-docker后的文件夹中, 修改docker-compose.yml文件, 将里面的KAFKA_ADVERTISED_HOST_NAME的IP改为自己本机的IP

version: '2'
services:
  zookeeper:
    image: wurstmeister/zookeeper
    ports:
      - "2181:2181"
  kafka:
    build: .
    ports:
      - "9092"
    environment:
      DOCKER_API_VERSION: 1.22
      KAFKA_ADVERTISED_HOST_NAME: 10.0.72.47
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock

执行命令启动zookeeper和kafka

docker-compose up -d

此时会启动一个zookeeper和kafka容器, 启动kafka时会build当前文件路径下的Dockerfile

我们运行下面的命令再新增两个容器, 总共启动了三个kafka, 启动时会自动给每个kafka broker分配不同的broker_id, 三个容器名依次为:

kafka-docker_kafka_1 kafka-docker_kafka_2 kafka-docker_kafka_3

docker-compose scale kafka=3

容器间的通信

查看docker的network信息, 可以看到名为docker_compose_default的网络

# docker network ls
28b5cd20af3c   docker_compose_default   bridge    local

查看网络详情, 可以看到网络的网段, 以及网络中的容器情况, 由于是自定义的网络, 所以各个容器间可以直接通过容器名代替ip进行访问

# docker network inspect kafka-docker_default
[
    {
        "Name": "kafka-docker_default",
        "Driver": "bridge",
        "Containers": {
            "389f0bd818e3822260a6e3e8ad3843077d447ae3557b461ef9128836cc75091a": {
                "Name": "kafka-docker_zookeeper_1",
                "IPv4Address": "172.20.0.3/16",
            },
            "6e5489640e5e33b242b235a8fc6c30f8898d9901c851afaa4902dc1628fac9ab": {
                "Name": "kafka-docker_kafka_2",
                "IPv4Address": "172.20.0.5/16",
            },
            "d280e45a5c4af777bff5355d0c6d924c7a79ef29915753ec2a0f2ba68b9cbddc": {
                "Name": "kafka-docker_kafka_1",
                "IPv4Address": "172.20.0.2/16",
            },
            "f6797c1be92bfc0ad2001626b66697c69b60f729cc28d203c1c07b99e537271e": {
                "Name": "kafka-docker_kafka_3",
                "IPv4Address": "172.20.0.4/16",
            }
        },
    }
]

执行命令操作kafka

进入kafka容器内部

docker exec -it kafka-docker_kafka_1 bash

kafka安装在容器的/opt/kafka路径下

bash-5.1# cd opt/kafka
bash-5.1# ls
LICENSE    NOTICE     bin        config     libs       licenses   logs       site-docs

查看kafka版本

kafka没有提供直接查看版本信息的命令, 需要进入到kafka的安装目录的libs路径下, 可以看到很多类似kafka_2.13-2.7.1-javadoc.jar这样的文件, 可以看出kafka版本, 其中前面的2.13是其开发语言Scala的版本，2.7.1是Kafka的版本

创建topic

cd到kafka安装目录/opt/kafka, 创建名为hello的topic

# bin/kafka-topics.sh --create --topic hello --partitions 2 --replication-factor 3 --bootstrap-server kafka-docker_kafka_1:9092

--partitions: 必输, 分区数

--replication-factor: 必输, 副本数

--bootstrap-server: 必输, kafka服务链接, 由于这里是集群, 所以只需要链接其中一个服务即可, 在之前版本使用的是--zookeeper参数, 表示数据会存放在zookeeper服务中, 现在推荐使用--bootstrap-server, 将数据存放在kafka服务中

创建topic之后, 进入/kafka/kafka-logs-xxxxx目录, 可以看到两个partition数据, hello-0和hello-1, 在另外两个容器中也同样有这两个partition文件夹, 因为副本数为3

# cd kafka-logs-dfd7d38517ef/
# ls
cleaner-offset-checkpoint         meta.properties
hello-0                           recovery-point-offset-checkpoint
hello-1                           replication-offset-checkpoint

查看topic列表

# bin/kafka-topics.sh --list --bootstrap-server kafka-docker_kafka_1:9092

查看topic详情

# bin/kafka-topics.sh --describe --topic hello --bootstrap-server kafka-docker_kafka_1:9092
Topic: hello    PartitionCount: 2       ReplicationFactor: 3    Configs: segment.bytes=1073741824
        Topic: hello    Partition: 0    Leader: none    Replicas: 1003,1001,1002        Isr: 1003
        Topic: hello    Partition: 1    Leader: none    Replicas: 1002,1003,1001        Isr: 1003

启动生产者

# bin/kafka-console-producer.sh --topic hello --bootstrap-server kafka-docker_kafka_1:9092
>

启动消费者

# bin/kafka-console-consumer.sh --topic hello --bootstrap-server kafka-docker_kafka_1:9092

在生产者的shell中输入消息, 可以在消费者中接收到消息