zoukankan      html  css  js  c++  java
  • Struct复杂数据类型的UDF编写、GenericUDF编写

    一、背景介绍:

    MaxCompute 2.0版本升级后,Java UDF支持的数据类型从原来的BIGINT、STRING、DOUBLE、BOOLEAN扩展了更多基本的数据类型,同时还扩展支持了ARRAY、MAP、STRUCT等复杂类型,以及Writable参数。Java UDF使用复杂数据类型的方法,STRUCT对应com.aliyun.odps.data.Struct。com.aliyun.odps.data.Struct从反射看不出Field Name和Field Type,所以需要用@Resolve注解来辅助。即如果需要在UDF中使用STRUCT,要求在UDF Class上也标注上@Resolve注解。但是当我们Struct类型中的field有很多字段的时候,这个时候需要我们去手动的添加@Resolve注解就不是那么的友好。针对这一个问题,我们可以使用Hive 中的GenericUDF去实现。MaxCompute 2.0支持Hive风格的UDF,部分Hive UDF、UDTF可以直接在MaxCompute上使用。

    二、复杂数据类型UDF示例

    示例定义了一个有三个复杂数据类型的UDF,其中第一个用ARRAY作为参数,第二个用MAP作为参数,第三个用STRUCT作为参数。由于第三个Overloads用了STRUCT作为参数或者返回值,因此要求必须对UDF Class添加@Resolve注解,指定STRUCT的具体类型。

    1.代码编写

    2.打jar包添加资源

    3.创建函数

    4.使用UDF函数

    三、使用Hive的GenericUDF

    这里我们使用Struct复杂数据类型作为示例,主要处理的逻辑是当我们结构体中两个字段前后没有差异时不返回,如果前后有差异将新的字段及其值组成新的结构体返回。示例中Struct的Field为3个。使用GenericUDF方式可以解决需要手动添加@Resolve注解。

    1.创建一个MaxCompute表

    2.表中数据结构如下

    查询数据如下所示:

    3.编写GenericUDF处理逻辑

    (1)QSC_DEMOO类

    (2)PubSimpleStruct类

    3、打jar包,添加资源

    4、创建函数

    5、测试使用UDF函数

    查询结果如下所示:

    注意:
    (1)在使用兼容的Hive UDF的时候,需要在SQL前加set odps.sql.hive.compatible=true;语句,set语句和SQL语句一起提交执行。

    (2)目前支持兼容的Hive版本为2.1.0,对应Hadoop版本为2.7.2。如果UDF是在其他版本的Hive/Hadoop开发的,则可能需要使用此Hive/Hadoop版本重新编译。

    本文作者:刘-建伟 

    原文链接

    本文为阿里云内容,未经允许不得转载。

  • 相关阅读:
    Android下拉刷新完全解析,教你如何一分钟实现下拉刷新功能
    泽优文档助手
    XproerIM2-更新-2017-6-28
    XproerIM-v1.3更新-企业即时通迅
    新建一个UI窗口-XproerUI(MFC)教程
    XproerUI控件工厂代码优化-使用C++11特性优化
    XproerIM V2开源,基于XproerUI引擎构架
    Install Shield 打包教程
    小米3刷机教程
    如何在属性面板中增加一个属性-UI界面编辑器(XproerUI)教程
  • 原文地址:https://www.cnblogs.com/zhaowei121/p/12102397.html
Copyright © 2011-2022 走看看