Kafka使用中的两个问题总结

Kafka用了挺长时间了，最早时官方文档也看得挺细的，但结果大半年没用，最近在做一些部署调整的时候有些细节居然遗忘了，摆了个乌龙。在这里总结一下，以免再忘。

1. 给Kafka加负载均衡的问题

Kafka producer上传数据的工作原理：

1. producer先通过配置的broker列表中的其中一台，获取到整个Kafka集群的metadata，其中包含brokers,topics,partitions包括ISR的信息。定期update。
2. 根据以上的metadata，以及由配置的message_key决定的partitioner策略（默认不配message_key的话就是简单的round robin），producer决定将数据分批发送到某个broker的partition中。
3. producer直接发送数据，不再经过producer配置中的broker转发。

因此，加负载均衡是对获取metadata的请求提供了高可用，但不是对实际数据发送做负载均衡。所以流量很小，不需要考虑负载均衡服务器的带宽。

2. host.name与advertised.host.name的设置

host.name：按配置文件说明，是Kafka绑定的interface。其实这个说明有点误导，下面会见到。

advertised.host.name：是注册到zookeeper，client要访问的broker地址。（可能producer也是拿这个值，没有验证）

如果advertised.host.name没有设，会用host.name的值注册到zookeeper，如果host.name也没有设，则会使用JVM拿到的本机hostname注册到zk。

这里有两个坑要注意：

1. 如果advertised.host.name没有设，host.name不能设为0.0.0.0，否则client通过zk拿到的broker地址就是0.0.0.0。
   如果指定要bind到所有interface，host.name不设就可以。

2. 如果host.name和advertised.host.name都不设，client通过zk拿到的就是JVM返回的本机hostname，如果这个hostname是client无法访问到的，client就会连不上broker。
   所以如果要bind到所有interface，client又能访问，解决的办法是host.name不设或设置0.0.0.0，advertised.host.name一定要设置为一个client可以访问的地址，如直接设IP地址。
   如果不需要bind到所有interface，也可以只在host.name设置IP地址。

简单的检查broker是否可以被client访问到的办法，就是在zookeeper中看broker信息，上面显示的hostname是否是client可以访问到的地址。
在zkCli中执行get /brokers/<id>

【扩展】为何producer是配置broker地址而consumer中是配置zookeeper地址

区别的原因是consumer要把consumer group和consumer的信息（主要是分配了哪些topic/partition）注册到zookeeper中，被各个consumer watch，以实现consumer之间的自动均衡。

至于consumer的offset虽然也可能保存在zookeeper上，但不是区别的原因。因为在0.9版本以上，offset也是可以保存到Kafka本身的。