zoukankan      html  css  js  c++  java
  • spark新能优化之reduceBykey和groupBykey的使用

    val counts = pairs.reduceByKey(_ + _)

    val counts = pairs.groupByKey().map(wordCounts => (wordCounts._1, wordCounts._2.sum))

    如果能用reduceByKey,那就用reduceByKey,因为它会在map端,先进行本地combine,可以大大减少要传输到reduce端的数据量,减小网络传输的开销。

    只有在reduceByKey处理不了时,才用groupByKey().map()来替代。

    因为reduceBykey聚合后传输的数据量就变少了,而groupBykey没聚合会传递到taskResult上面数据量比较大

  • 相关阅读:
    doker基础用法
    docker容器技术基础入门
    流模式
    装饰器模式
    适配器模式
    组合模式
    桥接模式
    观察者模式
    注册模式
    模板模式
  • 原文地址:https://www.cnblogs.com/yaohaitao/p/5667747.html
Copyright © 2011-2022 走看看