zoukankan      html  css  js  c++  java
  • Hadoop参数:fs.defaultFS、 dfs.name.dir 、 dfs.data.dir

    fs.defaultFS

    The name of the default file system. A URI whose scheme and authority determine the FileSystem implementation. The uri's scheme determines the config property (fs.SCHEME.impl) naming the FileSystem implementation class. The uri's authority is used to determine the host, port, etc. for a filesystem.

    默认文件系统的名称。一个URI和权威确定文件系统实现的方案。uri的计划决定配置属性(fs.SCHEME.impl)命名文件系统实现类。uri的权威是用来确定主机、端口等对于一个文件系统

      <property>
            <name>fs.defaultFS</name>
            <value>hdfs://172.18.11.2:9000</value>
      </property>

    dfs.name.dir

    Determines where on the local filesystem the DFS name node should store the name table(fsimage). If this is a comma-delimited list of directories then the name table is replicated in all of the directories, for redundancy.
    这个参数用于确定将HDFS文件系统的元信息保存在什么目录下。
    如果这个参数设置为多个目录,那么这些目录下都保存着元信息的多个备份。
    如:
    <property>
        <name>dfs.name.dir</name>
        <value>/pvdata/hadoopdata/name/,/opt/hadoopdata/name/</value>
    </property>
     
    dfs.data.dir 
    Determines where on the local filesystem an DFS data node should store its blocks. If this is a comma-delimited list of directories, then data will be stored in all named directories, typically on different devices. Directories that do not exist are ignored.
    这个参数用于确定将HDFS文件系统的数据保存在什么目录下。
    我们可以将这个参数设置为多个分区上目录,即可将HDFS建立在不同分区上。
    如:
    <property>
        <name>dfs.data.dir</name>
        <value>/dev/sda3/hadoopdata/,/dev/sda1/hadoopdata/</value>
    </property>
     
     
     
     
     
     
  • 相关阅读:
    [树形dp] Luogu P4516 潜入行动
    [kruskal][Trie] Codeforces 888G Xor-MST
    [线性基] Luogu P4151 最大XOR和路径
    [线段树] Luogu P4560 砖墙
    [递归][重心] Luogu P4886 快递员
    [Trie][贪心][堆] LibreOJ #3048 异或粽子
    [长链剖分][优先队列] LibreOJ #3052 春节十二响
    [支配树] Bzoj P2815 灾难
    [长链剖分][线段树] Bzoj P1758 重建计划
    [dsu on tree] Codeforces 600E Lomsat gelral
  • 原文地址:https://www.cnblogs.com/sunpengblog/p/10412148.html
Copyright © 2011-2022 走看看