zoukankan      html  css  js  c++  java
  • hive用户自定义函数

    一、UDF


      

      1.显示所有函数:show functions ;

      2.显示指定函数的帮助:$hive>desc function current_database();

      3. 什么是 UDF?
        当 Hive 提供的内置函数无法满足你的业务处理需要时,此时就可以考虑使用用户自定义函数(UDF: user-defined function)。2.UDF 开发步骤示例新建 JAVA maven 项目添加 hive-exec-1.2.1.jar 和 hadoop-common-2.7.4.jar 依赖

      3.1)写一个 java 类,继承 UDF,并重载 evaluate 方法

      

    package com.it18zhang.hiveDemo;
    
    import org.apache.hadoop.hive.ql.exec.Description;
    import org.apache.hadoop.hive.ql.exec.UDF;
    
    import java.text.SimpleDateFormat;
    import java.util.Date;
    
    /**
     *
     */
    @Description(name="tochar",
        value="tocharxxx"
    )
    public class ToCharUDF extends UDF {
        /*
        * 取出服务器当前时间2018/7/3
        * */
        public  String evaluate(){
            Date date = new Date();
            SimpleDateFormat sdf = new SimpleDateFormat();
            sdf.applyPattern("yyyy/MM/dd hh:mm:ss");
            return  sdf.format(date);
        }
        //用户自己传递时间进来
        public String evaluate(Date date){
            SimpleDateFormat sdf = new SimpleDateFormat();
            sdf.applyPattern("yyyy/MM/dd hh:mm:ss");
            return  sdf.format(date);
        }
        public String evaluate(Date date ,String srt){
            SimpleDateFormat sdf = new SimpleDateFormat();
            sdf.applyPattern(srt);
            return sdf.format(date);
        }
    }

      3.2)打成 jar 包上传到服务器
      3.3)将 jar 包添加到 hive 的 classpath
    hive>add JAR /home/hadoop/udf.jar;
      3.4) 创建临时函数与开发好的 java class 关联
      $>cp /mnt/hgfs/downloads/bigdata/data/HiveDemo.jar /soft/hive/lib

    4.重进入hive

    5.创建临时函数

    CREATE TEMPORARY FUNCTION myadd AS 'com.it18zhang.hivedemo.udf.AddUDF';

    6.在查询中使用自定义函数

      $hive>select myadd(1,2) ;

  • 相关阅读:
    宅急送
    网站迁移主要工作完成
    服务器迁移后性能提升很明显
    Vista修改默认字体
    服务器迁移预告
    Silverlight 2 和 Deep Zoom
    Mix 08到来之前的Monolight Update
    ASP.NET MVC Preview生命周期分析
    Windows Server 2008 与 .NET Framework 的版本之间有什么关系
    Silverlight 2 DispatcherTimer和通过XAML创建UI元素
  • 原文地址:https://www.cnblogs.com/bigdata-stone/p/9317977.html
Copyright © 2011-2022 走看看