zoukankan      html  css  js  c++  java
  • hdfs的实现机制和文件系统概念

    1、HDFS的诞生背景:

    数据量太大,在一个结点(机器)存不下。所以需要分布式存储,HDFS就是hadoop的分布式文件系统,来存储分布式数据。

    2、共享文件系统
    也是一种分布式存储
    但有缺点:
    1、并发差,比如10个客户端并发去读写某个资源,就会存在负载问题。
    2、可靠性差,如果某台计算机坏了,该台计算机上的共享资源就用不了了。
    3、资源在各台计算机之间移动、调整比较麻烦。

    3、HDFS能够解决上述几个缺点,它的优点:
    1、容量可以线性扩展。
    2、有副本机制,存储可靠性高,吞吐量增大。
    3、有了namenode后,客户端访问文件就只需要制定hdfs上的路径。

    4、HDFS的实现机制:
    1、文件是被切块存储在多台服务器上,存储在各台服务器的本地文件系统中。
    2、对于客户端来说,不需要关心分布式的细节,因为hdfs提供了一个抽象的统一的目录树。
    3、每一个文件块都可以保存多个副本
    4、hdfs中的文件和具体实际存储位置之间的对应关系交由一个专门的服务器来管理。

     

    5、思考:如果namenode挂了怎么办?

  • 相关阅读:
    XJOI网上同步训练DAY2 T2
    XJOI网上同步训练DAY2 T1
    BZOJ 2661 连连看
    HDU 4411 Arrest
    BZOJ 2324 营救皮卡丘
    BZOJ 1927 星际竞速
    BZOJ 3550 Vacation
    XJOI网上同步训练DAY1 T3
    php 类的相互访问
    ThinkPhp5.0_文件上传
  • 原文地址:https://www.cnblogs.com/hzhtracy/p/5474321.html
Copyright © 2011-2022 走看看