zoukankan      html  css  js  c++  java
  • hadoop性能调优

    1.平衡磁盘利用率

    hadoop balancer -Threshold 20

    或者 

    sh $HADOOP_HOME/bin/start-balancer.sh –t 20%

    参数20是比例参数,表示20%,也就是平各个DataNode直接磁盘使用率偏差在20%以内。

    threshold 默认设置:10,参数取值范围:0-100,参数含义:判断集群是否平衡的目标参数,每一个 datanode 存储使用率和集群总存储使用率的差值都应该小于这个阀值 ,理论上,该参数设置的越小,整个集群就越平衡,但是在线上环境中,hadoop集群在进行balance时,还在并发的进行数据的写入和删除,所以有可能无法到达设定的平衡参数值。

    2.杀掉hadoop正在运行的job

    $hadoop job -list

    $hadoop job -kill job_201212111628_11166


  • 相关阅读:
    Hibernate使用笔记
    svn树冲突的解决方法
    SVN 清理失败的解决方法
    类的实现
    lua元表
    lua中table的常用方法
    C/C++作用域运算符::
    Cocos2d-x Lua 学习
    Lua学习
    吾 三十而望
  • 原文地址:https://www.cnblogs.com/kxdblog/p/4034245.html
Copyright © 2011-2022 走看看