Spark排序方式集锦

 一.简介

　　spark中的排序一般可以使用orderBy或sort算子，可以结合负号、ASC/DESC和col进行简单排序、二次排序等情况

二.代码实现

package big.data.analyse.sparksql

import org.apache.log4j.{Level, Logger}
import org.apache.spark.sql.SparkSession

/**
  * 排序
  * Created by zhen on 2019/8/14.
  */
object DateFrameSort {
  Logger.getLogger("org").setLevel(Level.WARN)
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder().appName("DateFrameSort").master("local[2]").getOrCreate()

    val data = Array((7, 2, 3), (1, 8, 6), (1, 8, 3), (4, 5, 9))
    val df = spark.createDataFrame(data).toDF("col1", "col2", "col3")
    println("===原始数据===")
    df.show()
    println("===按照col1,col2进行默认排序===")
    // 默认的升序，会按照列的先后顺序进行升序排序
    df.orderBy("col2", "col3").show()
    println("===按照-df(col1)进行升序排序===")
    /**
      * 此排序方式需要提前创建好df，不能在创建df时使用
      */
    df.orderBy(-df("col2")).show
    println("===按照df(col1).asc,df(col2).desc进行二次排序===")
    /**
      * 二次排序
      * -号和desc/asc不能在一块使用
      */
    df.orderBy(df("col1").asc,df("col2").desc).show
    println("===asc/desc排序方法===")

    /**
      * 使用desc等算子需要预先导入
      */
    import org.apache.spark.sql.functions._

    df.orderBy(asc("col2")).show
    spark.createDataFrame(data).toDF("col1", "col2", "col3").orderBy(desc("col2")).show
    df.orderBy(asc("col2"), desc("col3")).show
    /**
      * sort函数和orderBy用法类似
      */
    df.sort(desc("col2")).show
    println("===col组合asc/desc排序方法===")
    df.orderBy(-col("col2")).show
    df.orderBy(col("col2").desc).show
    /**
      * 第二列无效
      * -号和desc/asc不能在一个orderBy使用
      */
    df.orderBy(col("col2").desc, -col("col3")).show
    spark.stop()
  }
}

三.结果