zoukankan      html  css  js  c++  java
  • hadoop jobhistory解析工具汇总

    1. White ElephantLinkedIn开源的一套Hadoop 作业日志收集器和展示器,使用mapreduce作业解析jobhistory日志,得到每个用户使用的资源情况,并通过网页展示。基于 Hadoop 1.0.3Hadoop 2.0不支持。

    2. hadoop-job-analyzer解析Hadoop作业,收集用户指定的信息,并把输出发送给监控以可视化方式展示和分析,也是基于hadoop1.0,不支持hadoop2.0

    3. Replephant是一个Clojure库,执行perl脚本分析Hadoop集群使用情况并产生使用报告。

    4. hRaven Twitter开源,收集Hadoop集群上运行的MapReduce作业的运行数据和统计信息,并以方便查询的格式存储。仅支持CDH3,不支持hadoop1.0hadoop2.0

    5. 商业软件还有 Cloudera ManagerHortonworks ManagementMapR M5

  • 相关阅读:
    JAVA流和File类
    JAVA的Socket
    JAVA反射
    JAVA线程
    JAVA集合
    052-214(新增70题2018)
    052-213(新增70题2018)
    052-212(新增70题2018)
    052-211(新增70题2018)
    052-210(新增70题2018)
  • 原文地址:https://www.cnblogs.com/shenh062326/p/3546560.html
Copyright © 2011-2022 走看看