zoukankan      html  css  js  c++  java
  • Hadoop-2.2.0中文文档—— Common

    目的

    此文档描写叙述了怎样为Hadoop配置和管理 Service Level Authorization 。

    预备条件

    确保已经安装Hadoop,配置和设置都正确了。

    很多其它细节,请看:* 首次使用者的单节点设置 * 大的、分布式集群的集群设置。

    概览

    Service Level Authorization 是一个必要的初始认证机制。其确保client连接到一个有必要的、预配置的、权限和认证服务的特定的Hadoop服务。比如,一个 MapReduce 集群能够使用这个机制同意一个配置了的用户/组列表提交作业。

    $HADOOP_CONF_DIR/hadoop-policy.xml配置文件被用来定义多种Hadoop服务的訪问控制列表。

    Service Level Authorization 比别的訪问控制检查如文件权限检查、作业队列上的訪问控制等做地更早。

    配置

    这部分描写叙述了怎样配置服务层认证,通过配置文件 $HADOOP_CONF_DIR/hadoop-policy.xml。

    同意服务层认证

    默认地,服务层认证对Hadoop是不能用的。

    要启用它。在配置文件$HADOOP_CONF_DIR/core-site.xml中合理地设置属性 hadoop.security.authorization 为 true。

    Hadoop 服务和配置属性

    这部分描写叙述了多种Hadoop服务和他们的配置部分:

    属性 服务
    security.client.protocol.acl ACL for ClientProtocol, 用户代码通过分布式文件系统来使用
    security.client.datanode.protocol.acl ACL for ClientDatanodeProtocol, the client-to-datanode protocol for block recovery.
    security.datanode.protocol.acl ACL for DatanodeProtocol, 用于datanodes 与 namenode 通信
    security.inter.datanode.protocol.acl ACL for InterDatanodeProtocol, inter-datanode 协议。用于更新生成的时间戳
    security.namenode.protocol.acl ACL for NamenodeProtocol, 用于secondary namenode 与 namenode 通信的协议
    security.inter.tracker.protocol.acl ACL for InterTrackerProtocol, 用于 tasktrackers 与 jobtracker 通信的协议
    security.job.submission.protocol.acl ACL for JobSubmissionProtocol, 用于 job client与 jobtracker 通信,以提交作业,查询作业状态
    security.task.umbilical.protocol.acl ACL for TaskUmbilicalProtocol,用于map 和 reduce 任务与父级 tasktracker通信
    security.refresh.policy.protocol.acl ACL for RefreshAuthorizationPolicyProtocol, 用于 dfsadmin 和 mradmin 命令以实时刷新安全策略
    security.ha.service.protocol.acl ACL for HAService protocol ,用于 HAAdmin 管理namenode的活着的和等待的状态

    訪问控制列表

    $HADOOP_CONF_DIR/hadoop-policy.xml 为每个Hadoop服务定义一个訪问控制列表。

    每个訪问控制列表有一个简单的格式:

    列表中的用户和组名字都以逗号分隔。两列以空格分隔。

    演示样例: user1,user2 group1,group2.

    假设仅仅有一列组被提供,相等地一个逗号分隔的用户列跟在空格后面或并不意味着仅仅有给定的用户,则在一行的开头加入一个空格。(?)

    一个特殊的 * 说明全部的用户都有权限訪问服务。

    刷新 Service Level Authorization 配置

    NameNode 和JobTracker的服务层认证配置能够在不重新启动不论什么一个Hadoop管理守护进程的情况下被改动。集群管理者能够在管理节点上和命令NameNode 和 JobTracker通过-refreshServiceAcl切换到dfsadmin和mradmin命令又一次加载他们的相关配置来改变$HADOOP_CONF_DIR/hadoop-policy.xml 。

    刷新 NameNode上的服务层认证配置:

       $ bin/hadoop dfsadmin -refreshServiceAcl

    刷新 JobTracker上的服务层认证配置:

       $ bin/hadoop mradmin -refreshServiceAcl

    当然,也能够 $HADOOP_CONF_DIR/hadoop-policy.xml 中 security.refresh.policy.protocol.acl 属性限制对特定用户/组刷新服务层认证配置的訪问能力 

    演示样例

    仅仅同意 alicebob 和在 mapreduce 组中的用户提交作业到 MapReduce 集群:

    <property>
         <name>security.job.submission.protocol.acl</name>
         <value>alice,bob mapreduce</value>
    </property>

    仅仅同意 DataNodes 执行,当属于datanodes组的用户与NameNode通信:

    <property>
         <name>security.datanode.protocol.acl</name>
         <value>datanodes</value>
    </property>

    同意不论什么用户作为 DFSClient与 HDFS 集群通话 :

    <property>
         <name>security.client.protocol.acl</name>
         <value>*</value>
    </property>

  • 相关阅读:
    Linux网络检测手段汇总
    Hadoop单机搭建
    Nginx之Location模块
    关于STM32驱动DS1302实时时钟的一点思考
    灵感手环第一步——0.96寸OLED显示实验
    把简单做到极致
    KEIL MDK 查看代码量、RAM使用情况--RO-data、RW-data、ZI-data
    关于SPI通信原理与程序实现
    【转载】keil5中加入STM32F10X_HD,USE_STDPERIPH_DRIVER的原因
    关于keil5使用注意事项(预定义、路径包含)
  • 原文地址:https://www.cnblogs.com/blfshiye/p/5227650.html
Copyright © 2011-2022 走看看