zoukankan      html  css  js  c++  java
  • presto,dremio,spark-sql与ranger的整合记录

    dremio,spark-sql,presto和ranger的整合
    当前,ranger没有现成的插件来管理dremio,spark-sql,presto。
    暂时使用的方法是新建一个用户,如presto可以创建一个presto用户,然后在ranger中对presto用户赋予hive,hdfs的访问权限。
    尤其是在hive doas权限开启的时候,一定要把对应的hdfs的权限也分配一下。
    然后使用presto用户来启动presto的worker,cordinaor进程,这样提交的查询都是使用这个用户,可以正常访问hdfs和hive.
    但是这样的问题就是,不管jdbc使用什么用户,都是无效的。

    presto整合到ambari安装的时候,默认是使用root用户进行启动的,可以修改

    /var/lib/ambari-server/resources下面的presto-worker.py,presto-cordinator.py中install和start方法,

    install方法中添加useradd presto,chown -R presto:presto /usr/hdp/current/presto

    start  方法中添加 sudo -u presto ,这样就可以使用presto用户来启动presto的相关进程。

    网络上可以查到一个信息,一个presto的发行公司startbust自己发行的presto可以配置hive.security=ranger可以

    与ranger进行整合。

    presto安装后需要注意的配置是hive.config.resources=/etc/hadoop/conf/hdfs-site.xml,/etc/hadoop/conf/core-site.xml

    这样才可以使用NAMENODE HA中配置的namespace,不会报找不到主机异常。

  • 相关阅读:
    Greedy Gift Givers 贪婪的送礼者
    USACO 1.1.3 Friday the Thirteenth 黑色星期五
    Prime Matrix(暴力出奇迹)
    博弈论
    好车牌
    C语言中动态内存的分配(malloc,realloc)
    Saruman's Army(贪心)
    Python练习——循环2
    Fox and Number Game
    Repair the Wall (贪心)
  • 原文地址:https://www.cnblogs.com/huaxiaoyao/p/11216117.html
Copyright © 2011-2022 走看看