UDF全称:
- user defined function 用户定义函数
存在的意义:
- 比如你需要使用hive的函数来处理一些记录,像count(), sum()这都是内置的,写好的,如果我想自定义一些函数,就可以写UDF来完成,相当于在Hive的sql中自定义了一些函数
- UDF必须使用java编写,因为Hive本身是用java编写的.
UDF类别:
- 普通 UDF (操作作用于单个数据的行记录,并且产生一个新的数据行记录作为输出,比如数字函数,字符串函数), (输出一条记录,输出一条记录)
- 用户定义聚集函数 UDAF (接受多个输入的数据行,并产生一个数据行,比如count(),sum(),max()), (输入多条记录,输出一条记录)
- 用户定义表生成函数 UDTF (操作一个数据行记录,并且产生多个数据行,多个数据行作为一个新的table作为输出)
一个UDF必须满足两个条件:
- 必须是org.apache.hadoop.hive.ql.exec.UDF的子类
- 至少实现了exaluate()方法
- 注意UDF名不区分大小写
一个UDAF计算函数必须实现五个条件:
- init()方法 主要负责初始化计算函数并重设它的内部状态. 在MaximumIntUDAFEvaluator中,我们把存放最终结果的IntWritable对象设置为null.我们使用null来表示目前还没有对任何值进行聚集计算,这和对空集null计算最大值应有的结果是一致的
- iterate()方法 每次对一个新值进行聚集计算时都会调用iterate()方法.计算函数要根据聚集计算的结果更新其内部状态.iterate()接受的参数和Hive中被调用函数的参数是对应的.
- terminatePartial()方法 Hive需要部分聚集结果时会调用terminatePartial()方法.这个方法必须返回一个封装了聚集计算当前状态的对象.
- merge()方法 在Hive决定要合并一个部分聚集值和另一个部分聚集值时会调用merge()方法.该方法接受一个对象作为输入.这个对象的类型必须和terminatePartial()方法返回的类型一致.
- terminate()方法 Hive需要最终聚集结果时会调用terminate()方法,计算函数需要把状态作为一个值返回.
写一个UDF
- 后续补充
把写好的UDF放到Hive中去使用
- 将用java写好的UDF函数编译后的Java类打包为一个JAR文件,并在Hive中注册这个文件
- hive>add jar /path/test.jar;
- hive>create temporary function strip as 'com.hadoop.hive.Strip'; //给写好的UDF中的Strip类起一个别名
- hive>select strip("test") from table1; //使用UDF
暂时就写到这里,参考:
- https://blog.csdn.net/yqlakers/article/details/70211522