zoukankan      html  css  js  c++  java
  • hdfs运行机制

    hdfs:分布式文件系统

    hdfs有着文件系统共同的特征:

    1、有目录结构,顶层目录是:  /

    2、系统中存放的就是文件

    3、系统可以提供对文件的:创建、删除、修改、查看、移动等功能

     

    hdfs跟普通的单机文件系统有区别:

    1、单机文件系统中存放的文件,是在一台机器的操作系统中

    2、hdfs的文件系统会横跨N多的机器

    3、单机文件系统中存放的文件,是在一台机器的磁盘上

    4、hdfs文件系统中存放的文件,是落在n多机器的本地单机文件系统中(hdfs是一个基于linux本地文件系统之上的文件系统)

     

    hdfs的工作机制:

    客户把一个文件存入hdfs,其实hdfs会把这个文件切块后,分散存储在N台linux机器系统中(负责存储文件块的角色:data node)<准确来说:切块的行为是由客户端决定的>

    一旦文件被切块存储,那么,hdfs中就必须有一个机制,来记录用户的每一个文件的切块信息,及每一块的具体存储机器(负责记录块信息的角色是:name node)

    为了保证数据的安全性,hdfs可以将每一个文件块在集群中存放多个副本(到底存几个副本,是由当时存入该文件的客户端指定的)

     

    综述:一个hdfs系统,由一台运行了namenode的服务器,和N台运行了datanode的服务器组成!

     

     

     

  • 相关阅读:
    C语言培训06
    C语言培训07
    C语言培训10 (完结篇)
    c程序设计语言 读书笔记01
    Open Xml Sdk创建目录
    D3D管线中每个stage的含义
    关于 STL::list 保存对象的一些注意
    【转载】 MultiByteToWideChar和WideCharToMultiByte用法详解
    Oracle GoldenGate 11G同步配置
    Linux挂载大硬盘(大于2T)
  • 原文地址:https://www.cnblogs.com/renxixao/p/11437834.html
Copyright © 2011-2022 走看看