kafka之c接口常用API------librdkafka

1 安装方法以及相关库文件

　　https://github.com/edenhill/librdkafka

2 

• High-level producer
• High-level consumer
• Simple (Low-level) consumer
• 压缩：snappy, gzip, lz4
• SSL
• SASL

　　consumer有两套API，高级(high-level)和底层(simple)的，应该叫底层API或者低级API，它跟高级API的区别是没有自动负载均衡，而高级API会自动进行负载均衡。

3 kafka主要的用途

　　发数据---->producer

　　　　//发一条

　　　　rd_kafka_produce()

　　　　//发多条

　　　　rd_kafka_produce_batch()

　　收数据---->consumer

　　在收发数据之前至少需要一个统一的句柄，方便kafka内部准备好链接brokers集群，初始化kafka内部结构等

　　

　　建立这个kafka句柄需要知道连接到哪个broker

　　

　　发布消息使用rd_kafka_top_t,　

// 对rd_kafka_topic_partition_list_t结构的操作
// 创建
rd_kafka_topic_partition_list_new();
// 增加元素
rd_kafka_topic_partition_list_add();
// 删除元素
rd_kafka_topic_partition_list_del();
// 查找元素
rd_kafka_topic_partition_list_find();

// 对rd_kafka_topic_t的操作
// 创建
rd_kafka_topic_new();
// 删除
rd_kafka_topic_destroy();
// 获取该topic的名字
rd_kafka_topic_name();
// 获取该topic传入的应用参数
rd_kafka_topic_opaque();

// 使用rd_kafka_topic_partition_list_t的时候，topic+partition是连在一起的，
// 所以给kafka句柄的时候只用一个参数就够了
// 订阅消息
rd_kafka_subscribe (rd_kafka_t *rk,
                            const rd_kafka_topic_partition_list_t *topics);
// 指定消费的partition，可以在运行时更换
rd_kafka_assign (rd_kafka_t *rk,
                            const rd_kafka_topic_partition_list_t *partitions);

// 用rd_kafka_topic_t比较麻烦，需要配合一个partition才行
// 直接启动consumer了
rd_kafka_consume_start(rd_kafka_topic_t *rkt, int32_t partition,
                            int64_t offset);
// 每次接收也要带上partition
rd_kafka_message_t *rd_kafka_consume(rd_kafka_topic_t *rkt, int32_t partition,
                            int timeout_ms);


// 发送的时候使用 rd_kafka_topic_t
int rd_kafka_produce(rd_kafka_topic_t *rkt, int32_t partition,
                            int msgflags,
                            void *payload, size_t len,
                            const void *key, size_t keylen,
                            void *msg_opaque);

后续用了继续做笔记，关于错误处理，topic_partition_list操作等

https://blog.csdn.net/lijinqi1987/article/details/76582067

http://suntus.github.io/2016/07/07/librdkafka--kafka%20C%20api%E4%BB%8B%E7%BB%8D/