zoukankan      html  css  js  c++  java
  • HDFS总结

    是什么?

    分布式文件存储系统(是一个跨多台机器的文件存储系统)

    HDFS设计,特性:

    1. 分布式:标准的主从架构(NameNode   DataNode)
    2. 一次写入多次读取:数据侧重于分析
    3. 注重数据吞吐量,交互延迟高,不适合做网盘
    4. 侧重于大文件存储,不利于小文件,小文件吃内存

    基本原理:

    对外如同一个黑盒子,用户用户不用关心内部的细节,只关心文件存储提取是否便利
    对内是一个标准的主从架构,各司其职,共同配合,对外提供服务
    文件上传下载流程:

    nn职责:

                    管理命名空间namespace(目录树结构) 文件和可以对应信息
                    管理众多的Datanode
                    成为访问HDFS的唯一访问路径
                    元数据保存在内容 工作机器需要大量RAM随机存取存储器(random access memory的缩写
        

    nm职责

                       负责具体的数据存储
                        配合nn完成文件存储服务
                        但是向nn发送心跳  3秒    汇报块信息   6小时

    HDFS操作:

                        shell命令:  put:上传操作,从本地到目标
                                             get:下载操作,将文件下载到本地文件系统
                                             mkdir:创建空白文件
                                             appendToFile:把多个文件追加到已经存在文件的末尾
                                             getMerge rm -r:下载合并,合并下载多个文件

    Java api

                                        类:FileSystem.get() 文件系统实例   Configuration 配置对象类
                                        客户端身份:客户端设置身份符合hdfs权限
                                        本地环境:winutils.exe hadoop在windows配置环境变量

    其他辅助功能:

                                            Hadoop Archive 档案:将小批文件合并成一个大文件的档案
                                            hdfs snapshot:先允许设置(disamain)快照 然后才可以创建快照
                                            可以指定某个文件夹设置备份。
                 

    1、hdfs的组成部分有哪些,分别解释一下:namenode(管理文件系统元数据)    datanode(负责具体数据块存储  服务于namenode)
    2、hdfs的高可靠如何实现:分块存储,副本机制
    3、hdfs的常用shell命令有哪些 -put  -get  appendToFile  getmerge  
    4、hdfs的常用java api有哪些  :略
    5、请用shell命令实现目录、文件的增删改查
    增:hadoop fs  -get  <路径>
    删:hadoop fs -rm [-skipTrash] <路径>
    改:hadoop fs -put  <路径>
    查:hadoop fs -cat <路径>
    6、请用java api实现目录、文件的增删改查:去看api总结
     

    元素管理机制:

        谁来管理:
                namenode
        元数据分类:
                按类型:
                        目录树结构,文件和块的对应信息 ,datanode状态信息
                按存储介质:
                        内存元数据(最完整),磁盘:fsimage镜像文件 edits编辑日志

    Secondarynamenode:

            定位:
                    主角是的辅助角色。
            职责:
                    定期帮助nameNode合并镜像文件和编辑日志
            机制:
                    checkpoint 检查点:(如图)
     



  • 相关阅读:
    POJ 3263 Tallest Cow(线段树)
    面试题54——表示数值的字符串
    ORA-01555错误总结(二)
    《AndroidStudio每日一贴》11. 重构之提炼为常量
    机器学习系统构建
    jsp不通过form和Ajax提交
    南邮算法分析与设计实验2 动态规划法
    cocos2d-x 3.2 之 2048 —— 第五篇
    Cocos2d-x学习资源集锦+有奖抽楼活动
    VMware虚拟机无法识别U盘解决方式
  • 原文地址:https://www.cnblogs.com/TiePiHeTao/p/1a480a5f4e0b5865a1cba8f14493e0bb.html
Copyright © 2011-2022 走看看