zoukankan      html  css  js  c++  java
  • HDFS02

    读取流程

     写流程

    ============SecondaryNameNode============

    Namenode的一个快照

    周期性的备份namenode

    记录namenode中的metadata及其它数据

    可以用来恢复Namenode

    ============HDFS优点============

    高容错性 --------->

    √数据自动保存多个节点

    √备份丢失后,自动恢复

    适合批处理 --------->

    √移动计算而非数据

    √数据位置暴露给计算框架

    合适大数据处理 --------->

    √GB、TB、甚至PB级数据

    √百万规模以上的文件数量

    √ 10K+节点规模

    流式文件访问 --------->

    √一次性写入、多次读取

    √保证数据的一致性

    可构建在廉价的机器上 --------->

    √通过多副本提高可靠性

    √提供了容错和恢复机制

    ============HDFS缺点============

    低延迟数据访问 --------->

    √比如毫秒级

    √低延迟与高吞吐率

    小文件存取 --------->

    √占用NameNode大量内存

    √寻道时间超过读取时间

    并发写入、文件随时修改 --------->

    √一个文件只能有一个写者

    √仅支持append

  • 相关阅读:
    Mac_Homebrew
    Python的路径引用
    OpenTSDB-Writing Data
    OpenTSDB介绍
    Git文件状态描述
    TCollector
    TEXT和BLOB区别
    MySQL索引与Index Condition Pushdown
    webService入门学习(一)
    redis学习笔记(一 基本操作)。
  • 原文地址:https://www.cnblogs.com/xtdxs/p/7074018.html
Copyright © 2011-2022 走看看