zoukankan      html  css  js  c++  java
  • ubuntu 配置ganlia监控hadoop 单机配置

    ganglia简介:

      Ganglia是一个跨平台可扩展的,高 性能计算系统下的分布式监控系统,如集群和网格。它是基于分层设计,它使用广泛的技术,如XML数据代表,便携数据传输,RRDtool用于数据存储和可 视化。

    配置信息:

      ubuntu 12.04 x64

      hadoop版本1.0.4

    首先需要安装ganglia,ubuntu下通过apt-get安装即可:

      sudo apt-get install  ganglia-monitor ganglia-webfront gmetad

    安装完成后修改/etc/ganglia/gmond.conf文件

    将globals模块下的setuid=yes修改为setuid=no,cluster模块下的name修改为hadoop

    然后修改/etc/ganglia/gmetad.conf文件

    找到data_source, 将其修改为   data_source "hadoop" 127.0.0.1 如果是集群直接在多个ip用空格隔开,可以自行定义监听端口号,如果不自定义使用默认端口8649,如果有防火墙,记得开放端口号。

    修改完成后重启ganglia

    sudo /etc/init.d/ganglia-monitor restart

    sudo /etc/init.d/gmetad restart

    重启完之后就可以把ganglia-webfront 复制到apache的www目录下

    sudo cp -r /usr/share/ganglia-webfront /var/www/ganglia

    再重启apache 服务

    sudo /etc/init.d/apache2 restart

    这样就可以通过访问http://localhost/ganglia 查看界面。

    配置hadoop:

    找到hadoop目录下conf下的hadoop-metrics2.properties文件

    #
    # Below are for sending metrics to Ganglia
    #
    # for Ganglia 3.0 support
     *.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink30
    #
    # for Ganglia 3.1 support
    # *.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31
    
     *.sink.ganglia.period=10
    
    # default for supportsparse is false
     *.sink.ganglia.supportsparse=true
    
    *.sink.ganglia.slope=jvm.metrics.gcCount=zero,jvm.metrics.memHeapUsedM=both
    *.sink.ganglia.dmax=jvm.metrics.threadsBlocked=70,jvm.metrics.memHeapUsedM=40
    
    namenode.sink.ganglia.servers=239.2.11.71:8649
    
    datanode.sink.ganglia.servers=239.2.11.71:8649
    
    jobtracker.sink.ganglia.servers=239.2.11.71:8649
    
    tasktracker.sink.ganglia.servers=239.2.11.71:8649
    
    maptask.sink.ganglia.servers=239.2.11.71:8649
    
    reducetask.sink.ganglia.servers=239.2.11.71:8649
    

      只需要将注释修改,然后将ganglia的server地址修改为239.2.11.71即可,重启hadoop,即可看到如下视图,表示ganglia搭建成功

    ---恢复内容结束---

  • 相关阅读:
    mongodb数据库迁移
    idea激活
    常见加密方式
    restful请求风格使用详解
    Jreble破解使用
    websocket入门与分布式websocket
    分布式Session的解决方案
    mysql基础知识与优化总结
    分布式事务详解
    多线程总结与使用
  • 原文地址:https://www.cnblogs.com/hitandrew/p/2850444.html
Copyright © 2011-2022 走看看