zoukankan      html  css  js  c++  java
  • hive用户自定义函数

    一、UDF


      

      1.显示所有函数:show functions ;

      2.显示指定函数的帮助:$hive>desc function current_database();

      3. 什么是 UDF?
        当 Hive 提供的内置函数无法满足你的业务处理需要时,此时就可以考虑使用用户自定义函数(UDF: user-defined function)。2.UDF 开发步骤示例新建 JAVA maven 项目添加 hive-exec-1.2.1.jar 和 hadoop-common-2.7.4.jar 依赖

      3.1)写一个 java 类,继承 UDF,并重载 evaluate 方法

      

    package com.it18zhang.hiveDemo;
    
    import org.apache.hadoop.hive.ql.exec.Description;
    import org.apache.hadoop.hive.ql.exec.UDF;
    
    import java.text.SimpleDateFormat;
    import java.util.Date;
    
    /**
     *
     */
    @Description(name="tochar",
        value="tocharxxx"
    )
    public class ToCharUDF extends UDF {
        /*
        * 取出服务器当前时间2018/7/3
        * */
        public  String evaluate(){
            Date date = new Date();
            SimpleDateFormat sdf = new SimpleDateFormat();
            sdf.applyPattern("yyyy/MM/dd hh:mm:ss");
            return  sdf.format(date);
        }
        //用户自己传递时间进来
        public String evaluate(Date date){
            SimpleDateFormat sdf = new SimpleDateFormat();
            sdf.applyPattern("yyyy/MM/dd hh:mm:ss");
            return  sdf.format(date);
        }
        public String evaluate(Date date ,String srt){
            SimpleDateFormat sdf = new SimpleDateFormat();
            sdf.applyPattern(srt);
            return sdf.format(date);
        }
    }

      3.2)打成 jar 包上传到服务器
      3.3)将 jar 包添加到 hive 的 classpath
    hive>add JAR /home/hadoop/udf.jar;
      3.4) 创建临时函数与开发好的 java class 关联
      $>cp /mnt/hgfs/downloads/bigdata/data/HiveDemo.jar /soft/hive/lib

    4.重进入hive

    5.创建临时函数

    CREATE TEMPORARY FUNCTION myadd AS 'com.it18zhang.hivedemo.udf.AddUDF';

    6.在查询中使用自定义函数

      $hive>select myadd(1,2) ;

  • 相关阅读:
    C++学习总结 复习篇2
    C++ 学习总结 复习篇
    Git 安装与使用
    前两周工作总结
    [bzoj1033] [ZJOI2008]杀蚂蚁antbuster
    [bzoj1031] [JSOI2007]字符加密Cipher
    [bzoj1030] [JSOI2007]文本生成器
    [bzoj1029] [JSOI2007]建筑抢修
    [bzoj1028] [JSOI2007]麻将
    [bzoj1026] [SCOI2009]windy数
  • 原文地址:https://www.cnblogs.com/bigdata-stone/p/9317977.html
Copyright © 2011-2022 走看看