zoukankan      html  css  js  c++  java
  • hdfs 机架感知和复制因子的设置

    dfs.replication
    新更新的复制因子的参数对原来的文件不起作用。
    譬如说,原来的复制因子是2,则原来文件上传的时候就只有两个副本。
    现在把dfs.replication设置为3,重新启动hdfs.不会把原来2个副本的变成三个副本。
    如果你需要这样,请执行下面的命令:
    hadoop fs -setrep -R 3 /
    如果你只有2个datanode,但是你却指定副本数为3,是不会生效的,因为每个datanode上只能存放一个副本。
    机架感知示例:

    保存以下代码为rackware.py
    把你自己集群的机器配置替换下面代码中{}的部分。
    #!/usr/bin/python
    #-*-coding:UTF-8 -*-
    import sys

    rack = {
                                    "nn1":"rack1",
                                    "nn2":"rack2",
                                    "dn1":"rack3",
                                    "192.168.56.120":"rack1",
                                    "192.168.56.121":"rack2",
                                    "192.168.56.122":"rack3",
                                    }

    if __name__=="__main__":
            print "/" + rack.get(sys.argv[1],"rack0")

    hdfs-site.xml
    配置
    <property>
        <name>topology.script.file.name</name>
        <value>/path/to/rackware.py</value>
    </property>

  • 相关阅读:
    洛谷P1455 搭配购买
    洛谷1341 无序字母对
    打击犯罪
    Cheese
    [noip2002] 产生数
    分治算法-----二分求最大最小
    yl 练习
    cj 练习
    雅礼2018-03-19洛谷作业 2
    雅礼2018-03-19洛谷作业
  • 原文地址:https://www.cnblogs.com/huaxiaoyao/p/5024516.html
Copyright © 2011-2022 走看看