zoukankan      html  css  js  c++  java
  • 54、Spark Streaming:DStream的transformation操作概览

    一、 transformation操作概览

      Transformation

                                                             Meaning

    map

    对传入的每个元素,返回一个新的元素

    flatMap

    对传入的每个元素,返回一个或多个元素

    filter

    对传入的元素返回true或false,返回的false的元素被过滤掉

    union

    将两个DStream进行合并

    count

    返回元素的个数

    reduce

    对所有values进行聚合

    countByValue

    对元素按照值进行分组,对每个组进行计数,最后返回<K, V>的格式

    reduceByKey

    对key对应的values进行聚合

    cogroup

    对两个DStream进行连接操作,一个key连接起来的两个RDD的数据,都会以Iterable<V>的形式,出现在一个Tuple中。

    join

    对两个DStream进行join操作,每个连接起来的pair,作为新DStream的RDD的一个元素

    transform

    对数据进行转换操作

    updateStateByKey

    为每个key维护一份state,并进行更新(这个,我认为,是在普通的实时计算中,最有用的一种操作)

    window

    对滑动窗口数据执行操作(实时计算中最有特色的一种操作)

  • 相关阅读:
    数据库自增ID归零
    JAVA中的接口和抽象类(转)
    谈如何学习linux (转)
    如何编译安装源码包软件(转)
    每天对着电脑46小时的人必看
    JAVA错误处理大集合
    5月15号项目总结
    让程序在Windows CE系统启动时自动运行
    wince.net4.2问题
    触摸屏定位校准
  • 原文地址:https://www.cnblogs.com/weiyiming007/p/11346012.html
Copyright © 2011-2022 走看看