047 SparkSQL自定义UDF函数

一：程序部分

1.需求

　　Double数据类型格式化，可以给定小数点位数

2.程序

package com.scala.it
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.sql.SQLContext
import org.apache.spark.sql.hive.HiveContext

import scala.math.BigDecimal.RoundingMode
object SparkSQLUDFDemo {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf()
      .setMaster("local[*]")
      .setAppName("udf")
    val sc = SparkContext.getOrCreate(conf)
    val sqlContext = new HiveContext(sc)

    // ==================================
    // 写一个Double数据格式化的自定义函数(给定保留多少位小数部分)
    sqlContext.udf.register(
      "doubleValueFormat", // 自定义函数名称
      (value: Double, scale: Int) => {
        // 自定义函数处理的代码块
        BigDecimal.valueOf(value).setScale(scale, RoundingMode.HALF_DOWN).doubleValue()
      })


    sqlContext.sql(
      """
        |SELECT
        |  deptno,
        |  doubleValueFormat(AVG(sal), 2) AS avg_sal
        |FROM hadoop09.emp
        |GROUP BY deptno
      """.stripMargin).show()

  }
}

3.结果

　　

二：知识点解释

1.udf

　　

2.refister