大三寒假学习进度笔记（十七）——机器学习基本知识和Spark的转移算子案例实操

写在前面

今天主要学习了数据酷客的机器学习十讲的第一讲和Spark里的转移算子

Spark转移算子案例实操

首先是这样的一个需求：

1516609143867 6 7 64 16
1516609143869 9 4 75 18
1516609143869 1 7 87 12
1516609143869 2 8 92 9
1516609143869 6 7 84 24
1516609143869 1 8 95 5
1516609143869 8 1 90 29
1516609143869 3 3 36 16
1516609143869 3 3 54 22
1516609143869 7 6 33 5

数据：agent.log：时间戳，省份，城市，用户，广告，中间字段使用空格分隔。
需求：统计出每一个省份每个广告被点击数量排行的 Top3

先来上代码：

/**
 * @Description:
 * @author: LiuGe
 * @date: 2021/1/25
 */
object Spark24_RDD_Req {

  def main(args: Array[String]): Unit = {
    val sparkConf = new SparkConf().setMaster("local[*]").setAppName("RDD")
    val sc = new SparkContext(sparkConf)
    // 案例实操
    // 1.获取原始数据 时间戳，省份，城市，用户，广告
    val dataRDD: RDD[String] = sc.textFile("datas/agent.log")
    // 2.将原始数据进行结构的转换，方便统计
    // 时间戳，省份，城市，用户，广告 =>
    // ((省份，广告),1)
    val mapRDD: RDD[((String, String), Int)] = dataRDD.map(line => {
      val datas: Array[String] = line.split(" ")
      ((datas(1), datas(4)), 1)
    })
    // 3.将转换结构后的数据进行分组聚合
    // ((省份，广告),1) => ((省份，广告),sum)
    val reduceRDD: RDD[((String, String), Int)] = mapRDD.reduceByKey(_ + _)
    // 4.将聚合的结果进行结构的转换
    // ((省份，广告),sum) => (省份，(广告,sum))
    val newMapRDD: RDD[(String, (String, Int))] = reduceRDD.map {
      case ((prv, ad), sum) => {
        (prv, (ad, sum))
      }
    }
    // 5.将转换结构后的数据根据省份进行分组
    // (省份，[(广告A,sum),(广告B,sum)])
    val groupRDD: RDD[(String, Iterable[(String, Int)])] = newMapRDD.groupByKey()
    // 6.将分组后的数据组内排序(降序),取前3名
    val resultRDD: RDD[(String, List[(String, Int)])] = groupRDD.mapValues(iter => {
      iter.toList.sortBy(_._2)(Ordering.Int.reverse).take(3)
    })
    // 7.采集数据打印在控制台
    resultRDD.collect().foreach(println)
    sc.stop()


  }

}

其实就是一个wordCount，换一下结构就行

机器学习的基本知识

主要了解了一下基础知识

总结

主要学习了以上内容，明天继续学习