zoukankan      html  css  js  c++  java
  • spark 通过隐式值排序 Ordering.on &元组的封装

    方式1 :隐式值     (remark:隐式 调用 顺序    隐式Object > 隐式值> 隐式函数> 隐式方法)

      def main(args: Array[String]): Unit = {
    
        val sparkConf = new SparkConf().setMaster("local[2]").setAppName("customersort1")
        val sc = new SparkContext(sparkConf)
        val girlInfo = sc.parallelize(Array("xiaoming 90 31","xiong 90 32","dabai 80 34","polu 98 35"))
        val pesion = girlInfo.map(x=>
          {
          val arr = x.split(" ")
          val name = arr(0)
          val age = arr(2).toInt
          val fv = arr(1).toInt
           (name,fv,age)
           })
    
        //隐式值    //[(Int,Int)  要比较的参数    
    //按照fv反排序,如果fv 相同 按照 age 正排序 (-x._2,x._3)
    implicit val oder= Ordering[(Int,Int)].on[(String,Int,Int)](x=>(-x._2,x._3)) val buffer = pesion.sortBy(x=>x).collect.toBuffer println(buffer) sc.stop() } }

    方式2: 元组的封装 

     //按照fv反排序,如果fv 相同 按照 age 正排序  (-x._2,x._3)
    val buffer = pesion.sortBy(x =>(-x._2,x._3)).collect.toBuffer
  • 相关阅读:
    结果可视化——Matplotlib.pyplot
    退役后的分治练习
    RNN姓氏分类:官方教程翻译
    libtorch使用笔记
    俄罗斯方块
    Flask使用笔记
    JQuery入门笔记
    glibc升级小记
    cvm母机宕机重启后数据库修复
    借用smtp.qq.com发邮件
  • 原文地址:https://www.cnblogs.com/lshan/p/13937094.html
Copyright © 2011-2022 走看看