zoukankan      html  css  js  c++  java
  • Hadoop记录-hadoop和hbase监控有那些比较好的工具

    New Relic

    hadoop  jmx

    granfa

    falcon

    Ganglia,Nagios和Chukwa

    自带监控软件

    hadoop yarn 开启jmx监控

    打开{hadoop_home}/etc/hadoop/yarn-env.sh文件,文件最后添加三行。

    YARN_OPTS=”$YARN_OPTS -Dcom.sun.management.jmxremote.authenticate=false”

    YARN_OPTS=”$YARN_OPTS -Dcom.sun.management.jmxremote.port=10001”

    YARN_OPTS=”$YARN_OPTS -Dcom.sun.management.jmxremote.ssl=false”
    ==================================================================

    认识JMX
    类JMXJsonServlet继承父类 javax.servlet.http.HttpServlet
    只提供web页面来访问JMX

    例如:启动了hadoop集群(master slave1 slave2)
    通过端口50070访问:master:50070查看namenode节点

    若查看namenode的监控信息,可直接访问:master:50070/jmx
    在web页面即可看到json对象(JMX Beans)的内容
    可以通过qry参数来过滤查看内容
    若参数qry不正确,即bad request,将返回一个格式化的json对象

    ervlet将JMXBeans转换成JSON,每个bean的属性将会被转换为一个json对象的成员。
    如果属性是布尔值,字符串或者数组,将会被转换为json等价物。
    如果value是一个组合数据将会被转换为一个key value键值对形式的json对象,
    如果值是表格数据,将会被转换为包含所有元素的数组。其他对象转换为string格式输出。
    所有bean的name和modeleler type也会返回。


    http://10.202.77.200:50070/jmx
    http://10.202.77.200:8088/jmx

    http://10.202.77.200:50070/jmx
    http://10.202.77.200:8088/jmx

    callback
    qry
    get

    http://10.202.77.200:50070/jmx?qry=Hadoop:*
    http://10.202.77.200:8088/jmx?qry=Hadoop:*

    http://10.202.77.200:8088/jmx?qry=Hadoop:service=ResourceManager,name=QueueMetrics,q0=root,q1=default,user=spark

  • 相关阅读:
    flask的过滤器
    flask的for、if语法
    flask模版语法
    flask response跳转页面
    flask 简单注册页面
    Egress 网关 TLS 连接 发起的过程 (SDS)
    Egress Gateway
    Egress TLS Origination
    Istio ServiceEntry 访问外部服务
    font awesome icon
  • 原文地址:https://www.cnblogs.com/xinfang520/p/10452240.html
Copyright © 2011-2022 走看看