1 增加参数 来控制消费次数 ,根据情况选择合适的参数即可,我这里修改为了10000.
不设置的话,默认是拉取全部的数据,有可能引起内存溢出或者任务失败等问题。
.config("spark.streaming.kafka.maxRatePerPartition", 10000)