Kafka-独立消费者

Kafka-独立消费者

有的时候，我们只需要一个消费者从一个主题的所有分区或者某个特定分区读取数据。这时就不需要消费者群组和再均衡了，只需要把主题或者分区分配给消费者，然后开始读取消息并提交偏移量。

如果是这样的话，就不需要订阅主题，取而代之的是为自己分配分区。

代码如下

import com.chinaventure.kafka.serializer.Customer;
import com.chinaventure.util.ExceptionUtil;
import org.apache.kafka.clients.consumer.*;
import org.apache.kafka.common.PartitionInfo;
import org.apache.kafka.common.TopicPartition;

import java.time.Duration;
import java.util.*;

/**
 * @Author FengZhen
 * @Date 2020-04-06 11:07
 * @Description kafka消费者
 */
public class KafkaConsumerTest {
    private static Properties kafkaProps = new Properties();
    static {
        kafkaProps.put("bootstrap.servers", "localhost:9092");
        kafkaProps.put("group.id", "test");
        kafkaProps.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        kafkaProps.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
    }

    private static Map<TopicPartition, OffsetAndMetadata> currentOffsets = new HashMap<>();

    private static KafkaConsumer<String, String> consumer;

    public static void main(String[] args) {
        closeSoftly();
        singleConsumer();
    }

    /**
     * 独立消费者
     * 消费者可以为自己分配分区，不需要订阅主题,不会发生再均衡，没有群组概念
     * 弊端：如果主题新增了分区，消费者不会受到通知，所以，要么周期性的调用consumer.partitionsFor()方法来检查是否有新分区加入，要么在添加新分区后重启应用程序
     */
    public static void singleConsumer(){
        consumer = new KafkaConsumer<String, String>(kafkaProps);
        List<PartitionInfo> partitionInfos = consumer.partitionsFor("test_partition");
        List<TopicPartition> partitions = new ArrayList<>();

        if (null != partitionInfos){
            for (PartitionInfo partitionInfo : partitionInfos) {
                partitions.add(new TopicPartition(partitionInfo.topic(), partitionInfo.partition()));
            }
            consumer.assign(partitions);
            try {
                while (true){
                    //消费者持续对kafka进行轮训，否则会被认为已经死亡，它的分区会被移交给群组里的其他消费者。
                    //传给poll方法的是一个超时时间，用于控制poll()方法的阻塞时间（在消费者的缓冲区里没有可用数据时会发生阻塞）
                    //如果该参数被设为0，poll会立即返回，否则它会在指定的毫秒数内一直等待broker返回数据
                    //poll方法返回一个记录列表。每条记录包含了记录所属主题的信息、记录所在分区的信息、记录在分区里的偏移量，以及记录的键值对。
                    ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
                    System.out.println("==== data get ====");
                    for (ConsumerRecord<String, String> record : records) {
                        System.out.println(String.format("topic=%s, partition=%s, offset=%d, key=%s, value=%s",
                                record.topic(), record.partition(), record.offset(), record.key(), record.value()));
                    }
                }
            } catch(Exception e){
                e.printStackTrace();
            } finally {
                //退出应用前使用close方法关闭消费者。
                //网络连接和socket也会随之关闭，并立即触发一次再均衡，而不是等待群组协调器发现它不在发送心跳并认定它已死亡，因为那样需要更长的时间，导致政哥群组在一段时间内无法读取消息。
                consumer.close();
            }
        }
    }
/**
     * 优雅退出
     * consumer.wakeup()是消费者唯一一个可以从其他线程里安全调用的方法
     * 调用此方法，可以退出poll(),并抛出WakeupException
     */
    private static void closeSoftly(){
        Runtime.getRuntime().addShutdownHook(new Thread(){
            @Override
            public void run() {
                System.out.println("Starting exit...");
                consumer.wakeup();
            }
        });
    }
}