zoukankan      html  css  js  c++  java
  • hue通过livy提交spark jar包python文件到spark

    背景:集群中有hive、spark2,没有impala

    需求:通过hue访问hive以及提交spark任务

    现状:hue以及通过sentry实现了对hive的权限管理  

    CDH5.15.1

    centos7.4

    livy-0.5.0-incubating-bin

    目标:hue实现scala、pyspark的交互式功能、实现提交python脚本,提交spark jar包到spark 的功能

    1、部署安装livy。《livy安装与部属

    2.CDH集成livy

    修改 core-site.xml 的群集范围高级配置代码段(安全阀)
    
    <property>
        <name>hadoop.proxyuser.livy.groups</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.livy.hosts</name>
        <value>*</value>
    </property>

    3.hue配置livy连接spark

    修改hue_safety_valve.ini 的 Hue 服务高级配置代码段(安全阀)
    [desktop]
    app_blacklist=
    
    [spark]
    livy_server_host=dip007
    livy_server_port=8998
    livy_server_session_kind=yarn
    
    [notebook]
    show_notebooks=true
    enable_batch_execute=true
    enable_query_builder=true
    enable_query_scheduling=false
    [[interpreters]]
    [[[hive]]]
          # The name of the snippet.
          name=Hive
          # The backend connection to use to communicate with the server.
          interface=hiveserver2
    [[[spark]]]
          name=Scala
          interface=livy
        [[[pyspark]]]
          name=PySpark
          interface=livy
    [[[jar]]]
          name=Spark Submit Jar
          interface=livy-batch
        [[[py]]]
          name=Spark Submit Python
          interface=livy-batch
    [[[text]]]
          name=Text
          interface=text
    [[[spark2]]]
          name=Spark
          interface=oozie
    [[[markdown]]]
          name=Markdown
          interface=text
    [[[java]]]
          name=Java
          interface=oozie
    [[[mapreduce]]]
          name=MapReduce
          interface=oozie
    [[[distcp]]]
          name=Distcp
          interface=oozie
    [[[shell]]]
          name=Shell
          interface=oozie

    遇到的问题:

    1.livy总是去连接一个处于stand by 的name node

    尝试:配置hue使用高可用的yarn 无效

    尝试2:之前安装是基于普通用户,后来所有安装后都换成hdfs用户,解决

  • 相关阅读:
    PHP __get和__set的理解
    PHP new self()和new static()的区别探究
    PHP 配置默认SSL CA证书
    PHP Trait超类总结
    PHP abstract 抽象类定义与用法示例
    php implements的作用和总结
    PHP性能优化利器:生成器 yield理解
    PHP 生成不重复唯一标识 session_create_id()
    【SpringBoot】SpringBoot源码编译
    【Redis】分布式锁之Redis实现
  • 原文地址:https://www.cnblogs.com/students/p/10794733.html
Copyright © 2011-2022 走看看