zoukankan      html  css  js  c++  java
  • 常见的transformation 和 Action

    常见transformation

    map

    将RDD中的每个元素传入自定义函数,获取一个新的元素,然后用新的元素组成新的RDD

    filter

    对RDD中每个元素进行判断,如果返回true则保留,返回false则剔除。

    flatMap

    与map类似,但是对每个元素都可以返回一个或多个新元素。

    gropuByKey

    根据key进行分组,每个key对应一个Iterable<value>

    reduceByKey

    对每个key对应的value进行reduce操作。

    sortByKey

    对每个key对应的value进行排序操作。

    join

    对两个包含<key,value>对的RDD进行join操作,每个key join上的pair,都会传入自定义函数进行处理。

    cogroup

    同join,但是是每个key对应的Iterable<value>都会传入自定义函数进行处理。

     常见Action

    reduce

    将RDD中的所有元素进行聚合操作。第一个和第二个元素聚合,值与第三个元素聚合,值与第四个元素聚合,以此类推。

    collect

    将RDD中所有元素获取到本地客户端。

    count

    获取RDD元素总数。

    take(n)

    获取RDD中前n个元素。

    saveAsTextFile

    将RDD元素保存到文件中,对每个元素调用toString方法

    countByKey

    对每个key对应的值进行count计数。

    foreach

    遍历RDD中的每个元素。

  • 相关阅读:
    @JsonFormat和@DateTimeFormat 实践测试
    spring jpa CrudRepository save 新建数据没有返回id
    多线程处理pdf附件转换
    contentsize ,ios 7和 ios7之前的 有点差别,
    区别,
    裁切图片,
    transform,
    简洁代码,
    这个系统,流程,入口,业务逻辑,
    pop,pop,如果break,会pop两次,
  • 原文地址:https://www.cnblogs.com/key1309/p/5327758.html
Copyright © 2011-2022 走看看