zoukankan      html  css  js  c++  java
  • hive用户自定义函数

    一、UDF


      

      1.显示所有函数:show functions ;

      2.显示指定函数的帮助:$hive>desc function current_database();

      3. 什么是 UDF?
        当 Hive 提供的内置函数无法满足你的业务处理需要时,此时就可以考虑使用用户自定义函数(UDF: user-defined function)。2.UDF 开发步骤示例新建 JAVA maven 项目添加 hive-exec-1.2.1.jar 和 hadoop-common-2.7.4.jar 依赖

      3.1)写一个 java 类,继承 UDF,并重载 evaluate 方法

      

    package com.it18zhang.hiveDemo;
    
    import org.apache.hadoop.hive.ql.exec.Description;
    import org.apache.hadoop.hive.ql.exec.UDF;
    
    import java.text.SimpleDateFormat;
    import java.util.Date;
    
    /**
     *
     */
    @Description(name="tochar",
        value="tocharxxx"
    )
    public class ToCharUDF extends UDF {
        /*
        * 取出服务器当前时间2018/7/3
        * */
        public  String evaluate(){
            Date date = new Date();
            SimpleDateFormat sdf = new SimpleDateFormat();
            sdf.applyPattern("yyyy/MM/dd hh:mm:ss");
            return  sdf.format(date);
        }
        //用户自己传递时间进来
        public String evaluate(Date date){
            SimpleDateFormat sdf = new SimpleDateFormat();
            sdf.applyPattern("yyyy/MM/dd hh:mm:ss");
            return  sdf.format(date);
        }
        public String evaluate(Date date ,String srt){
            SimpleDateFormat sdf = new SimpleDateFormat();
            sdf.applyPattern(srt);
            return sdf.format(date);
        }
    }

      3.2)打成 jar 包上传到服务器
      3.3)将 jar 包添加到 hive 的 classpath
    hive>add JAR /home/hadoop/udf.jar;
      3.4) 创建临时函数与开发好的 java class 关联
      $>cp /mnt/hgfs/downloads/bigdata/data/HiveDemo.jar /soft/hive/lib

    4.重进入hive

    5.创建临时函数

    CREATE TEMPORARY FUNCTION myadd AS 'com.it18zhang.hivedemo.udf.AddUDF';

    6.在查询中使用自定义函数

      $hive>select myadd(1,2) ;

  • 相关阅读:
    Algs4-2.3.11快排遇与切分值相同时继续扫描是平方级
    使用kubeadm搭建Kubernetes集群
    kubernetes发布解释型语言应用的最佳实践
    docker化php项目发布方式
    linux服务器免密钥登录
    cp 递归复制时 复制实际文件而不是链接文件
    nginx配置http访问自动跳转到https
    nfs服务器
    nginx防止恶意域名解析
    如何建立自己的知识体系?(摘)
  • 原文地址:https://www.cnblogs.com/bigdata-stone/p/9317977.html
Copyright © 2011-2022 走看看