zoukankan      html  css  js  c++  java
  • hive beeline hivevar和hiveconf的区别

    转载 https://blog.csdn.net/Dax1n/article/details/80822755

    1 、hivevar与hiveconf的区别:
    命名空间 使用权限 详细描述
    hivevar rw 用户自定义变量
    hiveconf rw hive相关配置属性
    system rw java定义的配置属性
    env r Shell环境属性
    通常我们可以使用hive -e查看有关hivevar与hiveconf的描述:

     

    其中--define与hivevar定义变量是一致的。

    2、hivevar与hiveconf的作用域

    之前项目中涉及两个hive作业同时执行并需要传入相同key的参数,因此顾虑不清楚是否是线程安全。结论先行:hivevar与hiveconf作用域都是会话级别的,言外之意就是如果两个并发同时跑的作业同时传入一个相同key但是value不相同的值的参数,不会发生线程安全问题。

    接下来说明一下验证方案:

    开启两个终端会话,在两个终端下执行如何两个命令:

    A终端会话先启动,并执行如下命令:

    hive --hiveconf first_name=daxin666 --hivevar first_name=daxin777
    B终端会话在A会话之后启动,并执行如下命令:

    hive --hiveconf first_name=daxin666888 --hivevar first_name=daxin777888
    之后查看A终端的变量值,你会发现并没有被B覆盖。所以是线程安全的,虽然没有翻阅源码,但是通过分析hive的执行过程依然可以明白为什么是线程安全的,因为hive是一个客户端工具,hive不需要分布式部署,因此也没有全局会话,hive只是作为一个翻译工具存在,将hive sql转化为mapreduce任务的客户端,每一次启动一个hive都是单独启动一个进程,因而各个进程之间是相互独立的,不存在共享变量,所以不会存在线程安全问题。 

    3、对于hivevar与hiveconf的使用

    hiveconf变量取值必须要使用hiveconf作为前缀参数,具体格式如下:

          ${hiveconf:key}  

    但是对于hivevar取值可以不使用前缀hivevar,具体格式如下:

    使用前缀:

           ${hivevar:key}

    不使用前缀:

           ${key}

    使用示例如下图:

     

  • 相关阅读:
    [网络流24题(1/24)] 最小路径覆盖问题(洛谷P2764)
    Codeforces 1082 G(最大权闭合子图)
    bzoj 1497(最大权闭合图/最小割)
    loj 515(bitset优化dp)
    bzoj 3998 (后缀自动机)
    HDU 6071(同余最短路)
    SPOJ COT2 (树上莫队)
    Atcoder Grand Contest 20 C(bitset优化背包)
    hdu 6480-6489 (2018 黑龙江省大学生程序设计竞赛)
    POJ 2594 Treasure Exploration(可重点最小路径覆盖)
  • 原文地址:https://www.cnblogs.com/to-here/p/14868519.html
Copyright © 2011-2022 走看看