zoukankan      html  css  js  c++  java
  • MapReduce计数器

    计数器输出

    计数器输出完成后执行的任务


    内置计数器

    hadoop为每一个作业提供了若干内置计数器,用以描写叙述各项指标。

    文件系统计数器

    所属类:org.apache.hadoop.mapreduce.FileSystemCounter

    BYTES_READ:文件系统读取的字节数

    BYTES_WRITTEN:文件系统写的字节数

    FileInputFormat任务计数器

    所属类:org.apache.hadoop.mapreduce.lib.input.FileInputFormatCounter

    BYTES_READ:map任务通过FileInputFormat读取的字节数

    FileOutputFormat任务计数器

    BYTES_WRITTEN:由map任务或者reduce任务通过FileOutputFormat写的字节数

    作业计数器

    所属类:org.apache.hadoop.mapreduce.JobCounter

    TOTAL_LAUNCHED_MAPS:启动的map任务数(猜測运行启动的任务,下面也是)

    TOTAL_LAUNCHED_REDUCES:启动的reduce任务数

    TOTAL_LAUNCHED_UBERTASKS:启动的uber任务数

    NUM_UBER_SUBMAPS:uber任务中的map任务数

    NUM_UBER_SUBREDUCES:uber中reduce任务数

    NUM_FAILED_MAPS:失败的map数

    NUM_FAILED_REDUCES:失败的reduce数

    NUM_FAILED_UBERTASKS:失败的uber任务数

    DATA_LOCAL_MAPS:数据本地化的map数,即与输入数据在同一节点的map数

    RACK_LOCAL_MAPS:与输入数据在同一机架上的map数,但不在同一节点

    OTHER_LOCAL_MAPS:与输入数据不在同一机架上的map数

    SLOTS_MILLIS_MAPS:map任务执行的总时间

    SLOTS_MILLIS_REDUCES:reduce任务执行的总时间

    MapReduce任务计数器

    MAP_INPUT_REDORDS:map输入的记录数

    MAP_SKIPPED_RECORDS:map跳过的记录数

    MAP_INPUT_BYTES:map输入的字节数

    SPLIT_RAW_BYTES:分片的原始字节数

    MAP_OUTPUT_RECORDS:map输出的记录数

    MAP_OUTPUT_BYTES:map输出的字节数

    MAP_OUTPUT_MATERIALIZED_BYTES:map输出后写到磁盘上的字节数

    COMBINER_INPUT_RECORDS:作业中combiner已经处理输入的记录数

    COMBINER_OUPUT_REDORDS:作业中combiner已产生输出的记录数

    REDUCE_INPUT_GROUPS:reduce输入的组。即每当reduce()被调用

    REDUCE_INPUT_RECORDS:作业中reduce已经处理的输入记录个数

    REDUCE_OUTPUT_RECORDS:reduce输出的记录数

    REDUCE_SKIPPED_RECORDS:reduce跳过的组数

    REDUCE_SHUFFLER_BYTES:shuffle中将map输出数据拷贝到reduce中的字节数

    SPILLED_RECORDS:作业中map和reduce任务溢出到磁盘的记录数

    CPU_MILLISECONDS:总计的cpu时间

    PHYSICAL_MEMORY_BYTES:一个任务所用的物理内存字节数

    VIRTUAL_MEMORY_BYTES:一个任务所使用的虚拟内存字节数

    COMMITTED_HEAP_BYTES:JVM中总有效内存量

    GC_TIME_MILLIS:GC执行时间毫秒数

    SHUFFLED_MAPS:由shuffle传输的map数

    FAILED_SHUFFLE:失败的shuffle数

    MERGED_MAP_OUTPUTS:被合并的map输出数

    自己定义计数器

    自己定义计数器,计数器的值能够在mapper或reducer中添加。计数器由一个Java枚举(enum)类型定义

    	enum Temperature{
    		MISSING,
    		TOTAL
    	}

    在map或者reduce中使用计数器

    context.getCounter(Temperature.TOTAL).increment(1);

    获取计数器

    		Counters counters = job.getCounters();
    		long total = counters.findCounter(MaxTemperature.Temperature.TOTAL).getValue();//获取自己的自定义计数器
    		long mpas = counters.findCounter(TaskCounter.MAP_INPUT_RECORDS).getValue();	//获取内置计数器


  • 相关阅读:
    基于边缘计算网关的桥梁结构安全监测应用
    5G工业网关的边缘计算
    5G工业网关和5G工业路由器差异对比分析
    大型网站架构系列:消息队列(二)
    大型网站架构系列:分布式消息队列(一)
    [转]线程安全类的设计
    [转]runloop原理
    [转]深入理解RunLoop
    [转]iOS保持界面流畅的技巧和AsyncDisplay介绍
    [转]面试时如何优雅的谈论OC
  • 原文地址:https://www.cnblogs.com/lcchuguo/p/5033462.html
Copyright © 2011-2022 走看看