zoukankan      html  css  js  c++  java
  • 1.26学习总结:DStream无状态转换操作

    一、学习视频

    https://www.bilibili.com/video/BV1oE411s7h7?p=61

    二、无状态转换操作

    2.1  map(func):经过func函数操作后,转换成一个新的DStream

    2.2  flatmap(func):经过func函数操作后,可以被映射为0个或多个输出项

    2.3  filter(func):经过func函数操作后,只过滤出符合函数的DStream

    2.4  repartition(num):通过创建更多或者更少的分区来改变DStream的并行度

    2.5 reduce(func):利用函数func聚集源DStream每个RDD的元素,返回一个包含新的单元素的RDDs的DStream

    2.6 reduceByKey(func,[numTask]):根据func将key聚集起来,返回一个新的键值对DStream

    2.7 join(otherStream,[numTask]):将两个有相同key的DStream进行连接操作,key不变,value为一个列表

    2.8 cogroup(otherStream,[numTask]):将两个拥有相同key的DStream返回一个元组,元组内容(key,Seq[v],Seq[w])

    2.9 transform(func):将DStream中的每一个RDD进行转换,转化后的RDD组合成一个新的DStream

  • 相关阅读:
    第三周作业
    第二周作业
    计算机基础学习心得
    第三次作业
    第2次作业(指针总结)
    2018(上)C高级第0次作业
    本学期最后一次作业 总结。
    第十四、十五周作业
    第七周作业
    第六周作业
  • 原文地址:https://www.cnblogs.com/wangzhaojun1670/p/14391826.html
Copyright © 2011-2022 走看看