zoukankan      html  css  js  c++  java
  • 常见的transformation 和 Action

    常见transformation

    map

    将RDD中的每个元素传入自定义函数,获取一个新的元素,然后用新的元素组成新的RDD

    filter

    对RDD中每个元素进行判断,如果返回true则保留,返回false则剔除。

    flatMap

    与map类似,但是对每个元素都可以返回一个或多个新元素。

    gropuByKey

    根据key进行分组,每个key对应一个Iterable<value>

    reduceByKey

    对每个key对应的value进行reduce操作。

    sortByKey

    对每个key对应的value进行排序操作。

    join

    对两个包含<key,value>对的RDD进行join操作,每个key join上的pair,都会传入自定义函数进行处理。

    cogroup

    同join,但是是每个key对应的Iterable<value>都会传入自定义函数进行处理。

     常见Action

    reduce

    将RDD中的所有元素进行聚合操作。第一个和第二个元素聚合,值与第三个元素聚合,值与第四个元素聚合,以此类推。

    collect

    将RDD中所有元素获取到本地客户端。

    count

    获取RDD元素总数。

    take(n)

    获取RDD中前n个元素。

    saveAsTextFile

    将RDD元素保存到文件中,对每个元素调用toString方法

    countByKey

    对每个key对应的值进行count计数。

    foreach

    遍历RDD中的每个元素。

  • 相关阅读:
    1295: [SCOI2009]最长距离
    [vijos p1028] 魔族密码
    HJ浇花
    1060: [ZJOI2007]时态同步
    1816: [Cqoi2010]扑克牌
    1800: [Ahoi2009]fly 飞行棋
    4300: 绝世好题
    1237: [SCOI2008]配对
    1801: [Ahoi2009]chess 中国象棋
    1189: [HNOI2007]紧急疏散evacuate
  • 原文地址:https://www.cnblogs.com/key1309/p/5327758.html
Copyright © 2011-2022 走看看