zoukankan      html  css  js  c++  java
  • hadoop2.x Federation

    • 单Active NN的架构使得HDFS在集群扩展性和性能上都有潜在的问题,当集群大到一定程度后,NN进程使用的内存可能会达到上百G,NN成为了性能的瓶颈
    • 常用的估算公式为1G对应1百万个块,按缺省块大小计算的话,大概是64T (这个估算比例是有比较大的富裕的,其实,即使是每个文件只有一个块,所有元数据信息也不会有1KB/block)
    • 为了解决这个问题,Hadoop 2.x提供了HDFS Federation, 示意图如下:
    • 多个NN共用一个集群里的存储资源,每个NN都可以单独对外提供服务
    • 每个NN都会定义一个存储池,有单独的id,每个DN都为所有存储池提供存储
    • DN会按照存储池id向其对应的NN汇报块信息,同时,DN会向所有NN汇报本地存储可用资源情况
    • 如果需要在客户端方便的访问若干个NN上的资源,可以使用客户端挂载表,把不同的目录映射到不同的NN,但NN上必须存在相应的目录
    • 设计优势:
      1. 改动最小,向前兼容;现有的NN无需任何配置改动;如果现有的客户端只连某台NN的话,代码和配置也无需改动
      2. 分离命名空间管理和块存储管理
      3. 客户端挂载表:通过路径自动对应NN、使Federation的配置改动对应用透明
  • 相关阅读:
    关于css3的fixed布局
    关于json和字符串之间的转换
    关于清楚浮动
    关于ajax跨域问题
    关于css的hack问题
    容器的使用(6-12)
    什么是Docker?(6-12)
    第五章 自下而上分析
    八、结构体和接口
    七、清楚的指针
  • 原文地址:https://www.cnblogs.com/itboys/p/6970770.html
Copyright © 2011-2022 走看看