zoukankan      html  css  js  c++  java
  • hdfs、yarn集成ranger

    一、安装hdfs插件

    从源码安装ranger的服务器上拷贝hdfs的插件到你需要安装的地方

    1、解压安装

    # tar zxvf ranger-2.1.0-hdfs-plugin.tar.gz -C /data1/hadoop

    2、修改插件配置文件,如下

    # cd /data1/hadoop/ranger-2.1.0-SNAPSHOT-hdfs-plugin/

    修改install.properties文件

    主要修改以下几个参数:

    POLICY_MGR_URL= http://192.168.4.50:6080   #policy地址,也就是ranger-admin地址

    REPOSITORY_NAME=hadoopdev  #服务名字,在ranger-admin前台创建的时候,需要与这个参数值一样。

    XAAUDIT.SOLR.ENABLE=true    #开启审计日志

    XAAUDIT.SOLR.URL=http://192.168.4.50:6083/solr/ranger_audits #solr地址

    CUSTOM_USER=hduser   #定义插件用户,我猜这个值是启动集群的用户

    CUSTOM_GROUP=hduser

    3、修改hdfs配置文件

    # vim hdfs-site.xml

    添加如下配置:

    <property>

            <name>dfs.namenode.inode.attributes.provider.class</name>

            <value>org.apache.ranger.authorization.hadoop.RangerHdfsAuthorizer</value>

        </property>

    <property>

            <name>dfs.permissions</name>

            <value>true</value>

        </property>

        <property>

            <name>dfs.permissions.ContentSummary.subAccess</name>

            <value>true</value>

    </property>

    4、启动插件

    # sudo ./enable-hdfs-plugin.sh   (需要root权限)

    二、安装yarn插件

    1、解压安装

    # tar zxvf ranger-2.0.0-yarn-plugin.tar.gz -C /data1/hadoop

    2、修改配置文件install.properties

    修改如下属性:

    POLICY_MGR_URL=http://192.168.4.50:6080

    REPOSITORY_NAME=yarndev

    XAAUDIT.SOLR.ENABLE=true

    XAAUDIT.SOLR.URL=http://192.168.4.50:6083/solr/ranger_audits

    CUSTOM_USER=hduser   

    CUSTOM_GROUP=hduser

    3、修改yarn-site.xml配置文件

    添加如下属性:

    <property>

        <name>yarn.acl.enable</name>

        <value>true</value>

    </property>

    <property>

        <name>yarn.authorization-provider</name>

        <value>org.apache.ranger.authorization.yarn.authorizer.RangerYarnAuthorizer</value>

    </property>

    4、启动yarn插件

    # ./enable-yarn-plugin.sh

    # 重启集群

    三、前台配置

    1hdfs配置

    (1) 登录:http/192.168.4.50:6080

    (1) 添加服务

    点击加号添加服务

    点击测试

    配置完了不要忘记点击保存。

    配置完在前台界面如下:

    (1) 配置策略

    点击hadoopdev进行策略的配置

    默认已经有两个策略,这里点击右上角进行策略的添加

    保存。

    (1) 测试yjt这个用户是否还有对/out1这个目录有权限。

     

    分析:

    从上述可以看到,对于这个目录只要没有对用户或者组加决绝的ACL,正常是可以读取的,但是上述我们对yjt这个用户对/out1这个目录进行了策略控制(拒绝访问)的限制,可以看到,目前这个用户对于该目录没有权限读取了,说明配置成功。

    2、yarn配置

    (1) 添加服务

    配置完可以进行测试连接,看配置是否ok

    (1) 添加策略

    yarn的限制,主要是对于用户对队列的访问,以及任务提交限制

    添加权限控制

    (1) 测试yjt这个用户是否可以提交任务

    从上可以看出,yjt这个用户,不允许提交任务到hadoop队列。

  • 相关阅读:
    JS——几种数组遍历方式总结
    JS——获取浏览器地址栏中的参数
    JQuery——JQuery CSS 选择器
    Maven 配置 本地骨架创建工程
    在SpringBoot中的SpringSecurity的配置类中,http.permitAll()与web.ignoring()的区别
    spring-task定时任务动态配置修改执行时间
    常用加密工具类
    thinkphp3.2 验证码的生成和校验,以及遇到的一些问题
    js 倒计时Demo
    PHP递归函数详解
  • 原文地址:https://www.cnblogs.com/yjt1993/p/11837551.html
Copyright © 2011-2022 走看看