zoukankan      html  css  js  c++  java
  • Hadoop记录-HDFS balancer配置

    HDFS balancer配置(可通过CM配置)
    dfs.datanode.balance.max.concurrent.moves

    并行移动的block数量,默认5

    dfs.datanode.balance.bandwidthPerSec

    Balance工具所占用的带宽,默认1048576(1MB)

    dfs.balancer.moverThreads

    用于执行block移动的线程池大小,默认1000

    dfs.balancer.max-size-to-move

    每次balance进行迭代的过程最大移动数据量,默认10737418240(10GB)

    dfs.balancer.getBlocks.size

    获取block的数量,默认2147483648(2GB)

    dfs.balancer.getBlocks.minblock-size

    用来平衡的最小block大小,默认10485760(10MB)

    dfs.datanode.blockpinning.enabled

        hdfs balancer

              [-threshold <threshold>]

              [-policy <policy>]

              [-exclude [-f <hosts-file> | <comma-separated list of hosts>]]

              [-include [-f <hosts-file> | <comma-separated list of hosts>]]

              [-idleiterations <idleiterations>]

    参数说明:

    -threshold

    某datanode的使用率和整个集群使用率的百分比差值阈值,达到这个阈值就启动hdfs balancer,取值从1到100,不宜太小,因为在平衡过程中也有数据写入,太小无法达到平衡

    -policy

    分为blockpool和datanode,前者是block pool级别的平衡后者是datanode级别的平衡

    -exclude

    不为空,则不在这些机器上进行平衡

    -include

    不为空,则仅在这些机器上进行平衡

    -idleiterations  最大迭代次数

    1.修改dfs.datanode.max.transfer.threads = 4096 (如果运行hbase的话建议为16384),指定用于在DataNode间传输block数据的最大线程数,老版本的对应参数为dfs.datanode.max.xcievers

    2.修改dfs.datanode.balance.bandwidthPerSec  = 31457280 ,指定DataNode用于balancer的带宽为30MB,这个示情况而定,如果交换机性能好点的,完全可以设定为50MB,单位是Byte,如果机器的网卡和交换机的带宽有限,可以适当降低该速度,默认是1048576(1MB)

    3.修改dfs.datanode.balance.max.concurrent.moves = 50,指定DataNode上同时用于balance待移动block的最大线程个数,这个值默认是5

  • 相关阅读:
    转:手册网(程序员开发手册相关网站)
    转:关于视频H264编解码的应用实现
    转:视频压缩的基本概念(x264解压包)
    转:MediaCoder H.264格式编码参数设置及详解
    转: 移动直播技术秒开优化经验
    关于阿里 weex 的使用与案例
    转:视频流服务架构解析(音视频格式介绍)
    转:移动端即时通讯系统实践
    转:GRADLE构建最佳实践
    转: Syslog协议介绍
  • 原文地址:https://www.cnblogs.com/xinfang520/p/10513848.html
Copyright © 2011-2022 走看看