zoukankan      html  css  js  c++  java
  • 54、Spark Streaming:DStream的transformation操作概览

    一、 transformation操作概览

      Transformation

                                                             Meaning

    map

    对传入的每个元素,返回一个新的元素

    flatMap

    对传入的每个元素,返回一个或多个元素

    filter

    对传入的元素返回true或false,返回的false的元素被过滤掉

    union

    将两个DStream进行合并

    count

    返回元素的个数

    reduce

    对所有values进行聚合

    countByValue

    对元素按照值进行分组,对每个组进行计数,最后返回<K, V>的格式

    reduceByKey

    对key对应的values进行聚合

    cogroup

    对两个DStream进行连接操作,一个key连接起来的两个RDD的数据,都会以Iterable<V>的形式,出现在一个Tuple中。

    join

    对两个DStream进行join操作,每个连接起来的pair,作为新DStream的RDD的一个元素

    transform

    对数据进行转换操作

    updateStateByKey

    为每个key维护一份state,并进行更新(这个,我认为,是在普通的实时计算中,最有用的一种操作)

    window

    对滑动窗口数据执行操作(实时计算中最有特色的一种操作)

  • 相关阅读:
    树莓派4B(4G版本)安装Ubuntu 19.10
    PyQt5通过使用QSS语法制作精美界面
    PyQt5 界面设计和业务处理分离
    Python多线程同步
    PyQt界面
    pip设置
    Vim 常用配置
    python日期处理
    vue项目创建与使用
    vue 指令,成员,组件
  • 原文地址:https://www.cnblogs.com/weiyiming007/p/11346012.html
Copyright © 2011-2022 走看看