zoukankan      html  css  js  c++  java
  • Hive 中的变量

    Hive的变量前面有一个命名空间,包括三个hiveconf,system,env,还有一个hivevar

    • hiveconf的命名空间指的是hive-site.xml下面的配置变量值。
    • system的命名空间是系统的变量,包括JVM的运行环境。
    • env的命名空间,是指环境变量,包括Shell环境下的变量信息,如HADOOP_HOME之类的

     实例:

    set mapreduce.job.split.metainfo.maxsize=-1;
    set hive.exec.parallel=true;
    set day='2018-08-30';
    set window_day=50
    
    select 
            *
    from 
    	table_name
    where 
    	dt >= date_sub(${hiveconf:day}, ${hiveconf:window_day})
    	and dt <= ${hiveconf:day}
    

      

    1 、hivevar与hiveconf的区别:
    命名空间 使用权限 详细描述
    hivevar rw 用户自定义变量
    hiveconf rw hive相关配置属性
    system rw java定义的配置属性
    env r Shell环境属性

    通常我们可以使用hive -e查看有关hivevar与hiveconf的描述:

    2、hivevar与hiveconf的作用域

    之前项目中涉及两个hive作业同时执行并需要传入相同key的参数,因此顾虑不清楚是否是线程安全。

    结论先行:hivevar与hiveconf作用域都是会话级别的,言外之意就是如果两个并发同时跑的作业同时传入一个相同key但是value不相同的值的参数,不会发生线程安全问题。

    3、对于hivevar与hiveconf的使用

    hiveconf变量取值必须要使用hiveconf作为前缀参数,具体格式如下:

          ${hiveconf:key}  

    但是对于hivevar取值可以不使用前缀hivevar,具体格式如下:

    使用前缀:

           ${hivevar:key}

    不使用前缀:

           ${key}

  • 相关阅读:
    JavaScript作用域
    JavaScript数据类型
    CSS页面布局(二)
    CSS页面布局(一)
    CCS界面组件
    JavaScript面向对象设计
    python-序列化与反序列化
    python-常用模块
    python-re模块
    python-匿名函数
  • 原文地址:https://www.cnblogs.com/Allen-rg/p/9676109.html
Copyright © 2011-2022 走看看