zoukankan      html  css  js  c++  java
  • Hive基础之自定义封装hivefile命令

    存在的问题:当把hql写到shell中,不方便阅读;但把hql写到文件中,又传递不了参数;怎么办呢? 

    自定义hivefile

    执行方式形如:

    第一个参数为要执行的hql文件,后续的参数为要替换的key-value对。

    hivefile d:/hivefile_test.hql -date "2013-01-01" -name "luogk"

     

    hivefile思路分析:

    本案例脚本和代码均放置在/home/spark/software/hivefile路径下,lib包放在/home/spark/lib下

    1、将hql脚本放置在单独的脚本中:hivefile_test.hql

    select a.id,sum(b.amount) from city a join sale_order b on a.id=b.city_id where b.amount > {$amount} group by a.id

     2、创建shell脚本:hivefile_test.sql,在sh脚本中通过hivefile调用hql文件,并传递进去要替换的参数键值对

    #!/bin/bash
    . ~/.bash_profile
    cd /home/spark/software/hivefile
    hivefile ./hivefile_test.hql -amount 20 

    3、创建hivefile脚本

    . ~/.bash_profile
    sql=`java -jar /home/spark/lib/hivefile.jar $*`    #$*用于传递参数
    echo "$sql"
    hive -e "$sql"

     4、hivefile做要的事情

      1)获取到hive -e命令行的参数,形如:c:/hive_test.hql -date "2013-01-01" ;

      2)解析参数,解析规则为:第一个参数为sql文件名,从第二个参数开始要替换的变量名采用"-"开头,紧跟着的是该变量名的值,一次类推;

      3)java代码获取到文件名,读取该文件的内容,并使用值去替换掉文件中的占位符变量名;

      4)将替换后的文件内容交给hive -e 去执行;

    5、执行hivefile_test.sh

    cd /home/spark/software/hivefile
    hivefile_test.sh

    6、为了使用hivefile脚本更加方便,将hivefile脚本封装到~/.bash_profile中去,使得在任意位置都可以执行hivefile命令,在path中添加hivefile的路径:

    export PATH=.:/home/spark/software/hivefile

    添加到环境变量后,就可以在任意路径下执行hivefile命令,形如:

    hivefile /home/spark/software/hivefile/hivefile_test.hql -amount 20
  • 相关阅读:
    眼底血管分割测试部分
    眼底血管分割训练函数(SVM,Adaboost)
    将眼底图片生成的txt文件进行格式化处理
    图像特征的提取(gaussian,gabor,frangi,hessian,Morphology...)及将图片保存为txt文件
    读书计划(2020年秋)
    假期周进度报告3
    信息化领域热词分类分析及解释
    个人课程总结
    第二阶段团队冲刺3
    第二阶段团队冲刺2
  • 原文地址:https://www.cnblogs.com/luogankun/p/3966645.html
Copyright © 2011-2022 走看看