zoukankan      html  css  js  c++  java
  • Hadoop2.0新特性-持续追加【干货】

    1、NAME NODE HA

    2、NAME NODE Federation

    3、HDFS 快照(目录快照)

    4、HDFS 缓存

    5、HDFS ACL 

    6、异构层级存储结构

     -------------------------------------------------------------------------------------------------------

      1、NameNode HA:

          NameNode分为主备节点,一个为ActiveNameNode,一个为StandbyNameNode。

          ActiveNameNode作用:

             1、Master主节点,只有一个;

             2、管理HDFS 命名空间;

             3、存储数据块与数据节点的映射关系,文件与数据块的映射关系;                    

                             4、配置副本策略;

                             5、处理客户端请求;

          StandbyNameNode作用:

                             1、NameNode热备;

                             2、定期合并元数据信息,包括(FSImage和FSEdits)。并且推送给ActiveNameNode;

                             3、当ActiveNameNode故障的时候,快速切换称为新的ActiveNameNode;

         2、NameNode Federation:

           多个NameNode配合工作,每个NameNode分管不同的HDFS目录,共享所有的DataNode数据节点。

         3、HDFS 快照:

           主要为防止用户误删数据,和数据备份的作用

          快照的对象为HDFS目录,前提是该目录是可以允许设置快照的(SnapShotable)

          启用快照:bin/hdfs dfsadmin allowsnapshot <path>

          创建快照:bin/hdfs dfs -CreateSnapshot <path> [snapshotName]

                    删除快照:bin/hdfs dfs -DeleteSnapshot <path> [snapshotName]

                    快照特性:只读,不可修改

          4、HDFS 缓存:

          目的:让高频访问的数据进行长期缓存。

            特性:1、仅支持目录或文件缓存,不支持Block级别

             2、不支持自动缓存

                             3、不会递归缓存目录下子目录的所有文件

                             4、可以设置缓存时间

                             5、独立管理内存,还没有与YARN的资源管理进行集成,可能会有资源分配的冲突·

            5、HDFS ACL:

           目标:提高HDFS目录权限管理的安全灵活性,原权限管理类似Linux操作系统模式的用户、用户组、其他组的目录权限管理。

           配置:在namenode节点上配置,dfs.namenode.acls.enabled:true 

           例子:

           hdfs dfs -setfacl -m user:tom:rw - /lab/user

                     hdfs dfs -setfacl -m user:lucy:rw - /lab/user

                     hdfs dfs -setfacl -m group:team2:r - /lab/user

                     hdfs dfs -setfacl -m group:team3:r - /lab/user   

             6、HDFS 异构层级存储结构

          可为不同的数据目录,配置不同的存储介质类别,如磁盘、SSD 、RAM,以满足Hadoop集群中不同计算框架,不同计算任务,不同性能要求的数据存储需求。 

         配置:

          <property>

             <name>dfs.datanode.data.dir</name>

             <value>[disk]/dir1,[disk]/dir2,[ssd]/dir3,[ssd]/dir4</value>

                      </property>

         HDFS 提供APi控制目录文件,写到什么介质,且能限制每个用户对每种介质的可使用份额。

  • 相关阅读:
    Security and Cryptography in Python
    Security and Cryptography in Python
    Security and Cryptography in Python
    Security and Cryptography in Python
    Security and Cryptography in Python
    Security and Cryptography in Python
    基于分布式锁解决定时任务重复问题
    基于Redis的Setnx实现分布式锁
    基于数据库悲观锁的分布式锁
    使用锁解决电商中的超卖
  • 原文地址:https://www.cnblogs.com/tmeily/p/4424304.html
Copyright © 2011-2022 走看看