zoukankan      html  css  js  c++  java
  • 用scala 实现top N 排名

    object TopNApp {
      def  main (args: Array[String]) {
        if (args != 3) {
          System.err.println("usage: <flag> <inputpath> <outputpath>")
          System.exit(1)
    
          //应用类型
          val flag = args(0)
          //获得上下文内容
          val sc = new SparkContext
          //hdfsduqu 数据
          val datas = sc.textFile(args(1))
          val cache = datas.cache()
    
          //排序
          cache.filter(_.split('	').length == 4).filter(_.split('	')(0) == flag).map(_.split('	')(1) -> 1)
            .reduceByKey(_ + _).map(x => (x._2, x._1)).sortByKey(false).map(y => (y._2, y._1)).saveAsTextFile(args(2))
          map((_, 1))
        }
      }
    }
  • 相关阅读:
    网络面试题2
    网络
    Linux os
    操作系统面试题2
    操作系统面试题
    Linux
    算法-字符全排列
    第k大数问题
    地址
    ListView里面嵌套CheckBox
  • 原文地址:https://www.cnblogs.com/zhanggl/p/4984187.html
Copyright © 2011-2022 走看看