zoukankan      html  css  js  c++  java
  • Hive UDF函数测试

    Hive UDF函数测试

    1.UDF函数确定

    根据SVN路径获取UDF函数代码,然后将需要调整的部分作出相应调整(eg:新增2020年工作日信息 修改对应的XML文件),重新使用maven  install 命令打包为新的jar包

    2.将UDF Jar包通过HUE上传到服务器

    上传步骤与平时上传脚本文件一样,如下图所示:(1.进入UDF jar包目录 2. 选择上传 3.选定jar包上传)

     

     

    3.将UDF jar函数从hue上传到服务器(10.21.22.116)

    cd  /app

    mkdir UDF_V2 

    # 将UDF jar包上传到服务的 /app/UDF_V2 目录下

    hdfs dfs -copyToLocal /user/hadouser_hw/UDF_jar_dfx/hiveudf-0.0.1-SNAPSHOT.jar  /app/UDF_V2

    4.Hive测试UDF jar包里面的函数信息

    登录服务器(10.21.22.116)后

    hive   #进入hive数据库

    add jar /app/UDF_V2/hiveudf-0.0.1-SNAPSHOT.jar; # 加载jar包

    create temporary function GetWorkDay as 'org.clio.hiveudf.hiveudf.GetWorkDay'; # 声明函数(GetWorkDay为函数名,org.clio.hiveudf.hiveudf.GetWorkDay为UDFjar包里的类路径)

    select GetWorkDay ('2019-07-31 08:59:01','2019-08-01 19:59:01'); # 使用(测试)函数,参数的类型及顺序与类中的方法参数保持一致

    ################################################分割线####################################################

    beeline中测试

    1.申请将udf jar包上传到集群环境 (这个得找相关人员了...)

    2.进入beeline执行命令窗口

    3.直接声明函数 (不需要像hive里面一样手动加载jar包了)

    create temporary function GetWorkDay as 'org.clio.hiveudf.hiveudf.GetWorkDay';

    4.调用函数,测试

    select GetWorkDay ('2019-07-31 08:59:01','2020-08-01 19:59:01'); 

     

  • 相关阅读:
    解读setTimeout, promise.then, process.nextTick, setImmediate的执行顺序
    规范git commit提交记录和版本发布记录
    《Javascript设计模式与开发实践》--读书笔记
    一个简洁明了的表达式拼接例子.md
    前端知识分享.md
    PHP常用框架.md
    关于软件版本以及VS版本扩展介绍
    WPF 优秀控件.md
    Deepin 常见问题锦集
    一些面向对象的设计法则
  • 原文地址:https://www.cnblogs.com/DFX339/p/12119741.html
Copyright © 2011-2022 走看看