zoukankan      html  css  js  c++  java
  • hdfs、yarn集成ranger

    一、安装hdfs插件

    从源码安装ranger的服务器上拷贝hdfs的插件到你需要安装的地方

    1、解压安装

    # tar zxvf ranger-2.1.0-hdfs-plugin.tar.gz -C /data1/hadoop

    2、修改插件配置文件,如下

    # cd /data1/hadoop/ranger-2.1.0-SNAPSHOT-hdfs-plugin/

    修改install.properties文件

    主要修改以下几个参数:

    POLICY_MGR_URL= http://192.168.4.50:6080   #policy地址,也就是ranger-admin地址

    REPOSITORY_NAME=hadoopdev  #服务名字,在ranger-admin前台创建的时候,需要与这个参数值一样。

    XAAUDIT.SOLR.ENABLE=true    #开启审计日志

    XAAUDIT.SOLR.URL=http://192.168.4.50:6083/solr/ranger_audits #solr地址

    CUSTOM_USER=hduser   #定义插件用户,我猜这个值是启动集群的用户

    CUSTOM_GROUP=hduser

    3、修改hdfs配置文件

    # vim hdfs-site.xml

    添加如下配置:

    <property>

            <name>dfs.namenode.inode.attributes.provider.class</name>

            <value>org.apache.ranger.authorization.hadoop.RangerHdfsAuthorizer</value>

        </property>

    <property>

            <name>dfs.permissions</name>

            <value>true</value>

        </property>

        <property>

            <name>dfs.permissions.ContentSummary.subAccess</name>

            <value>true</value>

    </property>

    4、启动插件

    # sudo ./enable-hdfs-plugin.sh   (需要root权限)

    二、安装yarn插件

    1、解压安装

    # tar zxvf ranger-2.0.0-yarn-plugin.tar.gz -C /data1/hadoop

    2、修改配置文件install.properties

    修改如下属性:

    POLICY_MGR_URL=http://192.168.4.50:6080

    REPOSITORY_NAME=yarndev

    XAAUDIT.SOLR.ENABLE=true

    XAAUDIT.SOLR.URL=http://192.168.4.50:6083/solr/ranger_audits

    CUSTOM_USER=hduser   

    CUSTOM_GROUP=hduser

    3、修改yarn-site.xml配置文件

    添加如下属性:

    <property>

        <name>yarn.acl.enable</name>

        <value>true</value>

    </property>

    <property>

        <name>yarn.authorization-provider</name>

        <value>org.apache.ranger.authorization.yarn.authorizer.RangerYarnAuthorizer</value>

    </property>

    4、启动yarn插件

    # ./enable-yarn-plugin.sh

    # 重启集群

    三、前台配置

    1hdfs配置

    (1) 登录:http/192.168.4.50:6080

    (1) 添加服务

    点击加号添加服务

    点击测试

    配置完了不要忘记点击保存。

    配置完在前台界面如下:

    (1) 配置策略

    点击hadoopdev进行策略的配置

    默认已经有两个策略,这里点击右上角进行策略的添加

    保存。

    (1) 测试yjt这个用户是否还有对/out1这个目录有权限。

     

    分析:

    从上述可以看到,对于这个目录只要没有对用户或者组加决绝的ACL,正常是可以读取的,但是上述我们对yjt这个用户对/out1这个目录进行了策略控制(拒绝访问)的限制,可以看到,目前这个用户对于该目录没有权限读取了,说明配置成功。

    2、yarn配置

    (1) 添加服务

    配置完可以进行测试连接,看配置是否ok

    (1) 添加策略

    yarn的限制,主要是对于用户对队列的访问,以及任务提交限制

    添加权限控制

    (1) 测试yjt这个用户是否可以提交任务

    从上可以看出,yjt这个用户,不允许提交任务到hadoop队列。

  • 相关阅读:
    springboot系列九,springboot整合邮件服务、整合定时任务调度
    springboot系列八、springboot整合kafka
    springboot系列六、springboot配置错误页面及全局异常
    springboot系列五、springboot常用注解使用说明
    springboot系列四、配置模板引擎、配置热部署
    springboot系列三、springboot 单元测试、配置访问路径、多个配置文件和多环境配置,项目打包发布
    springboot系列二、springboot项目搭建
    springboot系列一、springboot产生背景及介绍
    kafka系列十、kafka常用管理命令
    Jmeter4.X
  • 原文地址:https://www.cnblogs.com/yjt1993/p/11837551.html
Copyright © 2011-2022 走看看