spark.streaming从不稳定到稳定状态,解决数据量接收数据时突然变大,使得无法及时处理数据,稳定性得到保证
开启方式:
spark.streaming.backpressure.enabled = true
Elastic Scaling(资源动态分配)
Spark Batch Application 动态的决定这个application中需要多少个Executors
1、当一个Executor空闲的时候,将这个Executor杀掉,不浪费过多的集群资源浪费
2、当task太多的时候,动态的启动Executors(对资源的有效利用)
从Spark2.0开始有这个功能 打开配置: spark.streaming.dynamicAllocation.enabled = true