zoukankan      html  css  js  c++  java
  • hdfs 机架感知和复制因子的设置

    dfs.replication
    新更新的复制因子的参数对原来的文件不起作用。
    譬如说,原来的复制因子是2,则原来文件上传的时候就只有两个副本。
    现在把dfs.replication设置为3,重新启动hdfs.不会把原来2个副本的变成三个副本。
    如果你需要这样,请执行下面的命令:
    hadoop fs -setrep -R 3 /
    如果你只有2个datanode,但是你却指定副本数为3,是不会生效的,因为每个datanode上只能存放一个副本。
    机架感知示例:

    保存以下代码为rackware.py
    把你自己集群的机器配置替换下面代码中{}的部分。
    #!/usr/bin/python
    #-*-coding:UTF-8 -*-
    import sys

    rack = {
                                    "nn1":"rack1",
                                    "nn2":"rack2",
                                    "dn1":"rack3",
                                    "192.168.56.120":"rack1",
                                    "192.168.56.121":"rack2",
                                    "192.168.56.122":"rack3",
                                    }

    if __name__=="__main__":
            print "/" + rack.get(sys.argv[1],"rack0")

    hdfs-site.xml
    配置
    <property>
        <name>topology.script.file.name</name>
        <value>/path/to/rackware.py</value>
    </property>

  • 相关阅读:
    centos8 安装postresql12
    vs code 开启远程调试步骤
    node 版本管理器 nvs
    Vue I18n Vue.js 的国际化插件+elementUI的使用
    c#结构
    下拉菜单
    使用Convert 类和Parse方法将字符串转换为数值类型
    c# try..... catch
    c#迭代算法
    网页兼容各种浏览器
  • 原文地址:https://www.cnblogs.com/huaxiaoyao/p/5024516.html
Copyright © 2011-2022 走看看