zoukankan      html  css  js  c++  java
  • hadoop namenode

    存储文件系统元数据,例如:文件目录结构,不同文件的分块情况,每块存储在那个节点,权限等

    这些元数据全部存储在内存中,所以,namenode要求内存比较大

    hdfs在存文件的时候会按照块存储,每一块默认128M

    如果存储的文件很小,他在hdfs里也会占用128M,所以hdfs适合存储大块的数据

    如果文件大于128M,文件将会被分成多个块存储。

    hdfs中每个块会默认备份2份,算上自己也就是存3份

    hdfs备份数目配置(只用配master):
      路径:
        /usr/local/hadoop-2.7.3/etc/hadoop/hdfs-site.xml
      作用:
        告诉集群每个块的备份数目
      配置项:
        name: dfs.replication
        vale: 备份数目
      例如:
        <property>
          <name>dfs.replication</name>
          <value>2</value>
        </property>

  • 相关阅读:
    文章标题
    PAT Basic Level 1006
    PAT Basic Level 1005
    PAT Basic Level 1004
    PAT Basic Level 1036
    PAT Basic Level 1002
    (算法)递归各习题总结反思 *基础
    uvaoj 101
    C语言(关于二级指针)
    普通算法(高效幂运算)
  • 原文地址:https://www.cnblogs.com/413xiaol/p/9938823.html
Copyright © 2011-2022 走看看