zoukankan      html  css  js  c++  java
  • Hadoop之联邦HDFS

    联邦Hadoop

    是NameNode的水平拓展方案。该方案允许HDFS创建多个NameSpece(两个为一对)以提高集群的拓展性和隔离性,联邦HDFS允许每个NameNode管理文件系统命名空间的一部分。每个NameNode维护一个命名空间,不同NameNode之间的命名空间相互独立。数据块池不再切分,因此,每个DataNode需要注册到NameNode。

    HDFS的底层存储是可以水平拓展的,但namespace不可以。当前的namespace只能放在单个NamwNode上,而NameNode存储了这个分布式文件系统的元数据信息,限制了集群中的数据块,文件和目录的数目。

    1. 多个NameNode共用一个集群里的DataNode上的资源,而每个NameNode的哦可以单独对外提供服务。
    2. 每个NameNode都会定义一个存储池,有单独的id,每个DataNode都为所有存储池提供存储。
    3. DataNode会按照存储池id向其对应的NameNode汇报块信息,也会会ibao所有NameNode本地存储可用资源情况。
    4. 如果要客户端方便的访问若干个NameNode的资源,可以使用客户端挂载表,把不同的目录映射到不同的NameNode,NameNode上必须存在相应的目录。
  • 相关阅读:
    自定义动画(仿Win10加载动画)
    jquery 仿windows10菜单效果下载
    mac os+selenium2+Firefox驱动+python3
    mac os+selenium2+chrome驱动+python3
    mac 安装scrapy
    mac 查看系统位数
    ubuntu安装 mysqldb
    ubuntu安装常用软件
    scp 时出现permission denied
    ubuntu 安装git
  • 原文地址:https://www.cnblogs.com/we9999/p/12407363.html
Copyright © 2011-2022 走看看