1.目标
在这个Kafka教程中，我们将学习Kafka-Docker的概念。此外，我们将在Kafka中看到Docker的卸载过程。这包括使用Docker 运行Apache Kafka的所有步骤 。除此之外，要使用Docker运行Kafka，我们将学习它的用法，经纪人ID，广告主机名，广告端口等。
所以，让我们开始Kafka-docker教程。
Kafka-Docker：使用Docker运行Apache Kafka的步骤
2. Kafka-docker是什么？
这里是使用Docker即Kafka-docker运行Apache Kafka的步骤。
一世。使用Docker的先决条件
- 首先，安装docker-compose
让我们来探索Kafka Performance Tuning - Kafka Optimization
a的方法。安装Docker Compose
我们可以在macOS，Windows以及64位Linux上运行compose 。
现在，要安装Kafka-Docker，步骤如下：
1。对于任何有意义的工作，Docker组合依赖于Docker Engine。因此，我们必须确保我们在本地或远程安装Docker引擎，具体取决于我们的设置。
基本上，在Docker for Mac和Windows等桌面系统上，Docker组合作为桌面安装的一部分包含在内。
2.然后，在MacOS Docker for Mac 上安装Compose
和Docker Toolbox已经包含Compose和其他Docker应用程序，因此Mac用户不需要单独安装Compose。Docker安装说明如下：
阅读Apache Kafka Consumer
3.卸载Kafka-docker
- 如果我们使用curl安装它，那么卸载Docker Compose：
sudo rm / usr / local / bin / docker-compose
- 如果我们使用pip安装，那么卸载Docker Compose：
pip uninstall docker-compose
- 安装compose后，修改docker-compose.yml中的KAFKA_ADVERTISED_HOST_NAME以匹配我们的docker主机IP
注意：请勿使用localhost或127.0.0.1作为主机IP来运行多个代理。
- 如果我们想要自定义任何Kafka参数，我们需要将它们作为环境变量添加到docker-compose.yml中。
- 通过添加前缀为LOG4J_的环境变量，可以自定义Kafka的log4j用法。这些将映射到log4j.properties。例如LOG4J_LOGGER_KAFKA_AUTHORIZER_LOGGER = DEBUG，authorizerAppender
注意：配置网络有各种“问题”。
阅读Apache Kafka职业范围与薪资趋势
II。用法
启动Kafka集群：
- docker-compose up -d
要添加更多Kafka经纪人：
- docker-compose scale kafka = 3
要销毁群集：
- 码头工人组成停止
注意：默认的docker-compose.yml应该被视为一个起点。默认情况下，每个Kafka代理将在重新启动时获得新的端口号和代理ID。这取决于我们的用例，这可能是不可取的。此外，我们可以相应地修改docker-compose配置，以使用特定端口和代理ID，例如docker-compose-single-broker.yml：docker
-compose -f docker-compose-single-broker.yml up
III。经纪人ID
可以以不同方式配置代理ID
- 明确地，使用KAFKA_BROKER_ID
- 通过命令，使用BROKER_ID_COMMAND，例如BROKER_ID_COMMAND：“hostname | awk -F'-''{print $ 2}'“
但是，如果我们在docker-compose文件中没有指定代理ID，则意味着它将自动生成。它允许放大和缩小。此外，为了确保不重新创建容器，请不要使用docker-compose的-no-recreate选项，从而保留其名称和ID。
IV。自动创建主题
如果我们想让Kafka- docker 在创建过程中自动在Kafka中创建主题， 可以在docker-compose.yml中添加KAFKA_CREATE_TOPICS环境变量 。
以下是来自docker-compose.yml的示例代码：
environment：
KAFKA_CREATE_TOPICS：“Topic1：1：3，Topic2：1：1：compact”
在这里，我们可以看到主题1有1个分区以及3个副本，而主题2具有1个分区，1个副本，以及设置为压缩的cleanup.policy。
了解Kafka Producer
此外，通过指定KAFKA_CREATE_TOPICS_SEPARATOR环境变量来覆盖默认分隔符，以便在我们的主题定义之间使用多行YAML或其他分隔符。
例如，要拆分主题定义KAFKA_CREATE_TOPICS_SEPARATOR：“$$' n”'将使用换行符。确保语法必须遵循docker-compose转义规则和ANSI-C引用。
v。广告主机名
我们可以以不同的方式配置通告的主机名
- 明确地，使用KAFKA_ADVERTISED_HOST_NAME
- 通过命令，使用HOSTNAME_COMMAND，例如HOSTNAME_COMMAND：“route -n | awk'/ UG [ t] / {print $$ 2}'“
但是，如果已指定KAFKA_ADVERTISED_HOST_NAME，则优先于HOSTNAME_COMMAND
为了获取容器主机的IP，我们可以使用元数据服务进行AWS部署：
HOSTNAME_COMMAND = wget -t3 -T2 -qO- http://169.254.169.254 /最新/元数据/本地的IPv4
- 将HOSTNAME_COMMAND注入配置
如果我们在任何其他KAFKA_XXX变量中需要HOSTNAME_COMMAND的值，请使用变量值中的_ {HOSTNAME_COMMAND}字符串，即
KAFKA_ADVERTISED_LISTENERS = SSL：// _ {HOSTNAME_COMMAND}：9093，PLAINTEXT：// 9092
让我们探索Apache Kafka工作流程| Kafka Pub-Sub Messaging
六。广告端口
确定所需的通告端口是否不是静态非常重要。可以使用PORT_COMMAND环境变量。
PORT_COMMAND：“ docker port $$（hostname）9092 / tcp | cut -d：-f2
通过使用_ {PORT_COMMAND}字符串，我们可以在任何其他KAFKA_XXX配置中插入它，即
KAFKA_ADVERTISED_LISTENERS：PLAINTEXT：//1.2.3.4：_ {PORT_COMMAND}
七。监听器配置
如果Kafka文档是开放的，那么它非常有用，以便轻松理解各种代理监听器配置选项。
对于版本0.9.0的时间，有多个侦听器配置，Kafka支持代理以帮助支持不同的协议以及区分内部和外部流量。
注意： advertised.host.name和advertised.port仍然按预期工作，但在配置侦听器时不应使用。
八。例
以下示例环境：
HOSTNAME_COMMAND：
- 卷曲http：//169.254.169.254/latest/meta-data/public-hostname
KAFKA_ADVERTISED_LISTENERS：
- INSIDE ：//：9092，OUTSIDE：// _ {HOSTNAME_COMMAND}：9094
KAFKA_LISTENERS：
- INSIDE ：//：9092，OUTSIDE：//：9094KAFKA_LISTENER_SECURITY_PROTOCOL_MAP：INSIDE：PLAINTEXT，OUTSIDE：PLAINTEXT
KAFKA_INTER_BROKER_LISTENER_NAME：INSIDE
使用JMeter查看Apache Kafka-Load测试
将导致以下代理配置：
- advertised.listeners = OUTSIDE ：//ec2-xx-xx-xxx-xx.us-west-2.compute.amazonaws.com:9094,INSIDE://:9092
- listeners = OUTSIDE ：//：9094，INSIDE：//：9092
- inter.broker.listener.name = INSIDE
九。规则
- 没有侦听器可以共享端口号。
- 第二个规则是，advertised.listener必须由侦听器列表中的协议名称和端口号出现。
X。经纪人机架
我们可以通过不同方式配置代理机架关联
- 明确地，使用KAFKA_BROKER_RACK
- 通过命令，使用RACK_COMMAND，例如RACK_COMMAND：“curl http://169.254.169.254/latest/meta-data/placement/availability-zone”
在上面的示例中，AWS元数据服务用于将实例的可用区域放在broker.rack属性中。
十一。JMX
出于监控目的，我们可能需要配置JMX。此外，对于标准JMX参数，可能会出现用于连接的基础RMI协议的问题
- java.rmi.server.hostname - 接口以绑定侦听端口
- com.sun.management.jmxremote.rmi.port
带命令的Apache Kafka操作
例如，
如果我们要连接到本地运行的Kafka（假设暴露端口1099）
KAFKA_JMX_OPTS：“ - Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.authenticate = false -Dcom。 sun.management.jmxremote.ssl = false -Djava.rmi.server.hostname = 127.0.0.1 -Dcom.sun.management.jmxremote.rmi.port = 1099“
JMX_PORT：1099
Jconsole现在可以连接到jconsole 192.168.99.100:1099
十二。Docker Swarm模式
在使用覆盖网络在Docker Swarm中部署Kafka时，上述侦听器配置是必需的。在分离OUTSIDE以及INSIDE侦听器时，主机可以在群组内受益时与覆盖网络外的客户端进行通信。
在Docker Swarm中运行Kafka的更多好方法包括：
让我们讨论Apache Kafka术语
- 要为每个群集节点启动一个且仅一个Kafka代理，请在撰写文件中使用“deploy：global”。
- 而不是默认的“入口”负载平衡端口绑定，使用组合文件版本“3.2”以及“长”端口定义以及“主机”模式下的端口。例如：
ports：
- target：9094
发布：9094
protocol：tcp
mode：host
所以，这完全是关于Kafka-docker的。希望您喜欢我们对Kafka Docker的解释。
3.结论
因此，我们已经看到了整个Kafka-docker教程。此外，我们还看到了如何在Kafka中卸载Docker。但是，如果您对Kafka-docker有任何疑问，请随时通过评论部分询问。
另请参阅 -
Kafka Connect
供参考