zoukankan      html  css  js  c++  java
  • hdfs 机架感知和复制因子的设置

    dfs.replication
    新更新的复制因子的参数对原来的文件不起作用。
    譬如说,原来的复制因子是2,则原来文件上传的时候就只有两个副本。
    现在把dfs.replication设置为3,重新启动hdfs.不会把原来2个副本的变成三个副本。
    如果你需要这样,请执行下面的命令:
    hadoop fs -setrep -R 3 /
    如果你只有2个datanode,但是你却指定副本数为3,是不会生效的,因为每个datanode上只能存放一个副本。
    机架感知示例:

    保存以下代码为rackware.py
    把你自己集群的机器配置替换下面代码中{}的部分。
    #!/usr/bin/python
    #-*-coding:UTF-8 -*-
    import sys

    rack = {
                                    "nn1":"rack1",
                                    "nn2":"rack2",
                                    "dn1":"rack3",
                                    "192.168.56.120":"rack1",
                                    "192.168.56.121":"rack2",
                                    "192.168.56.122":"rack3",
                                    }

    if __name__=="__main__":
            print "/" + rack.get(sys.argv[1],"rack0")

    hdfs-site.xml
    配置
    <property>
        <name>topology.script.file.name</name>
        <value>/path/to/rackware.py</value>
    </property>

  • 相关阅读:
    Kibana安装
    elasticsearch安装
    分布式_zookeeper
    通信协议_三次握手_四次挥手
    Spring中的IOC_源码_随笔
    Spring设计模式_策略模式/其他
    Spring设计模式_工厂模式
    spring设计模式_代理模式
    docker常用指令01
    ubuntu18下安装docker
  • 原文地址:https://www.cnblogs.com/huaxiaoyao/p/5024516.html
Copyright © 2011-2022 走看看