星环TDH之kafka笔记

1.kafka开通krb认证之后，需要在消费kafka时候加载配置文件

./kafka-topics.sh --zookeeper 198.28.1.81:2181 --create --topic hs_user_useroperlog --partitions 3 --replication-factor 1

消费kafka，并打印出来数据

./kafka-console-consumer.sh --bootstrap-server 198.28.1.81:9092 --topic hs_user_useroperlog --from-beginning --new-consumer --consumer.config ../config/consumer.properties

需要加入--consumer.config ../config/consumer.properties配置，否则回报出来错误

错误如下：

2.明确kafka格式问题kafka最终的数据都是统一的数据，最终转换之后的数据如下：

3.Tdhclient目录下kafka目录结构

tdh比较好的是很多配置文件都整理好了，可以直接使用