zoukankan      html  css  js  c++  java
  • HDFS架构

    学习一个新框架方法:
        推荐:官网+源码
        跪在坚持
        hadoop.apache.org
        spark.apache.org
        flink.apache.org
        storm.apache.org

    Hadoop:由HDFS/YARN/Map Reduce构成

    HDFS 一个NameNode 和多个DATa Node 构成
            Namenode: 管理文件系统命名空间。(1个)引发一个单点故障问题(Single Point  of  ailure) ==> HA  ,     Namenode它存放一些元数据(metadata)信息

      metadata:谁创建的?权限?文件对应的block块在哪里
            DataNode: 负责数据的存储,和Namenode之间有心跳机制,
            Block:文件存入HDFS,是按照block进行拆分 每个块大小为128M

    客户端发起读取,从namenode拿元数据信息,才能知道去哪些DataNode读数据

    下图为HDFS架构图,参照官网截取下来的

    下图为BLock容错机制图解,参考官网

     文件读写到HDFS图解:

     HA 高可用 HDFS 架构图

     NN active 对外提供服务,NN standby同步NNactive的一个状态,当NNactive挂了之后,NNstandby可以快速的切换。

    NNactive 和NN standby 处于俩个独立的机器上,当出现问题是,它俩是如何进行切换的?

    通过主和备,然后通过各自的一个进程监控它,然后同过zookper来进行一个状态的切换,不需要人工进行干预

    HA配置请参考官网

  • 相关阅读:
    js判断当前年龄
    获取手机号归属地
    关于vscode控制tab控制缩进2/4个空格
    vue中的 mvvm
    关于前端性能优化
    js 深拷贝
    关于js hasOwnPropetry // instanceof 整理
    node-sass 安装报错
    JS发送跨域Post请求出现两次请求的解决办法
    Vue面试复习
  • 原文地址:https://www.cnblogs.com/jjpbk/p/12342119.html
Copyright © 2011-2022 走看看