Kafka 生产者API

一 生产者基本API

创建主题

bin/kafka-topics.sh --zookeeper hadoop102:2181 --create --topic first --replication-factor 2 --partitions 2

生产者代码

public class MyProducer {

    public static void main(String[] args) {

        //所有配置的键在ProducerConfig中都有
        Properties props = new Properties();

        //kafka 集群，broker-list
        props.put("bootstrap.servers", "hadoop102:9092");
        //应答级别。all等同于-1
        props.put("acks", "all");
        //重试次数
        props.put("retries", 1);
        //批次大小和等待时间。16k发送一次，或者1毫秒发送一次（写到缓冲区）
        props.put("batch.size", 16384);
        props.put("linger.ms", 1);
        //RecordAccumulator 缓冲区大小
        props.put("buffer.memory", 33554432);
        //KV序列化的类
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

        //生产者
        KafkaProducer<String, String> kafkaProducer = new KafkaProducer<>(props);

        //发送数据
        for (int i = 0; i < 5; i++) {
            ProducerRecord<String,String> producerRecord = new ProducerRecord<>("first","atguigu" + i);
            kafkaProducer.send(producerRecord);
        }

        //关闭资源。上面发送的5条消息，既没有16k，也不到1毫秒，可能不会发送。关闭才发送送。
        kafkaProducer.close();

    }
}

控制台消费查看

[atguigu@hadoop102 kafka]$ bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic first
atguigu1
atguigu3
atguigu0
atguigu2
atguigu4

同步发送。调用send方法返回的Future对象的get方法，阻塞线程。

for (int i = 0; i < 5; i++) {
    ProducerRecord<String,String> producerRecord = new ProducerRecord<>("first","atguigu" + i);
    Future<RecordMetadata> metadataFuture = kafkaProducer.send(producerRecord);

    try {
        RecordMetadata recordMetadata = metadataFuture.get();
    } catch (InterruptedException e) {
        e.printStackTrace();
    } catch (ExecutionException e) {
        e.printStackTrace();
    }
}

二 带回调函数的API

生产者代码

public class CallbackProducer {

    public static void main(String[] args) {

        Properties props = new Properties();

        //只配置这三项，其他用默认配置
        props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "hadoop102:9092");
        props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");
        props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");

        KafkaProducer<String, String> kafkaProducer = new KafkaProducer<>(props);

        for (int i = 0; i < 10; i++) {
            ProducerRecord<String, String> producerRecord = new ProducerRecord<>("first", "atguigu" + i);

            Callback callback = (recordMetadata, e) -> {
                if (e == null) {
                    System.out.println("发送成功！分区：" + recordMetadata.partition() + "，偏移量：" + recordMetadata.offset());
                }else {
                    e.printStackTrace();
                }
            };

            kafkaProducer.send(producerRecord, callback);
        }

        kafkaProducer.close();
    }
}

控制台打印如下，可以看到第一个批次发往分区0，第二个批次发往分区1，且每个分区都单独有自己的偏移量。由于示例1中发送了5条数据，占用了分区0的偏移位置0和1，分区1的0,1,2。

发送成功！分区：0，偏移量：2
发送成功！分区：0，偏移量：3
发送成功！分区：0，偏移量：4
发送成功！分区：0，偏移量：5
发送成功！分区：0，偏移量：6
发送成功！分区：1，偏移量：3
发送成功！分区：1，偏移量：4
发送成功！分区：1，偏移量：5
发送成功！分区：1，偏移量：6
发送成功！分区：1，偏移量：7