Spark的运行指标监控

".driver.BlockManager.disk.diskSpaceUsed_MB")//使用的磁盘空间
".driver.BlockManager.memory.maxMem_MB") //使用的最大内存
".driver.BlockManager.memory.memUsed_MB")//内存使用情况
".driver.BlockManager.memory.remainingMem_MB") //闲置内存
//#####################stage###################################
".driver.DAGScheduler.job.activeJobs")//当前正在运行的job
".driver.DAGScheduler.job.allJobs")//总job数
".driver.DAGScheduler.stage.failedStages")//失败的stage数量
".driver.DAGScheduler.stage.runningStages")//正在运行的stage
".driver.DAGScheduler.stage.waitingStages")//等待运行的stage
//#####################StreamingMetrics###################################
".driver.query.StreamingMetrics.streaming.lastCompletedBatch_processingDelay")// 最近批次执行的延迟时间
".driver.query.StreamingMetrics.streaming.lastCompletedBatch_processingEndTime")//最近批次执行结束时间（毫秒为单位）
".driver.query.StreamingMetrics.streaming.lastCompletedBatch_processingStartTime")//最近批次开始执行时间
//执行时间
val lastCompletedBatch_processingTime = (lastCompletedBatch_processingEndTime - lastCompletedBatch_processingStartTime)
".driver.query.StreamingMetrics.streaming.lastReceivedBatch_records")//最近批次接收的数量
".driver.query.StreamingMetrics.streaming.runningBatches")//正在运行的批次
".driver.query.StreamingMetrics.streaming.totalCompletedBatches")//完成的数据量
".driver.query.StreamingMetrics.streaming.totalProcessedRecords")//总处理条数
".driver.query.StreamingMetrics.streaming.totalReceivedRecords")//总接收条数
".driver.query.StreamingMetrics.streaming.unprocessedBatches")//为处理的批次
".driver.query.StreamingMetrics.streaming.waitingBatches")//处于等待状态的批次