zoukankan      html  css  js  c++  java
  • HDFS架构

    学习一个新框架方法:
        推荐:官网+源码
        跪在坚持
        hadoop.apache.org
        spark.apache.org
        flink.apache.org
        storm.apache.org

    Hadoop:由HDFS/YARN/Map Reduce构成

    HDFS 一个NameNode 和多个DATa Node 构成
            Namenode: 管理文件系统命名空间。(1个)引发一个单点故障问题(Single Point  of  ailure) ==> HA  ,     Namenode它存放一些元数据(metadata)信息

      metadata:谁创建的?权限?文件对应的block块在哪里
            DataNode: 负责数据的存储,和Namenode之间有心跳机制,
            Block:文件存入HDFS,是按照block进行拆分 每个块大小为128M

    客户端发起读取,从namenode拿元数据信息,才能知道去哪些DataNode读数据

    下图为HDFS架构图,参照官网截取下来的

    下图为BLock容错机制图解,参考官网

     文件读写到HDFS图解:

     HA 高可用 HDFS 架构图

     NN active 对外提供服务,NN standby同步NNactive的一个状态,当NNactive挂了之后,NNstandby可以快速的切换。

    NNactive 和NN standby 处于俩个独立的机器上,当出现问题是,它俩是如何进行切换的?

    通过主和备,然后通过各自的一个进程监控它,然后同过zookper来进行一个状态的切换,不需要人工进行干预

    HA配置请参考官网

  • 相关阅读:
    Linux-05安装python3,jupyter(朱皮特)
    Linux-04Vim
    calloc()的使用
    根目录挂载位置错误记录
    arm裸机通过uboot运行hello world程序测试结果
    编译Uboot——错误记录
    将make的输出重定向到文件(转)
    Linux下JDK+Eclipse安装
    使用gdb+core查看错误信息
    Ubuntu下安装tftp
  • 原文地址:https://www.cnblogs.com/jjpbk/p/12342119.html
Copyright © 2011-2022 走看看