zoukankan      html  css  js  c++  java
  • Beam简介

    简介

    Apache Beam 是谷歌开源的统一批处理和流处理的编程模型和SDK。

    核心概念

    • Pipeline:管道是整个数据的处理流程,包括数据输入,转换,数据输出。每个程序必须创建Pipeline,并通过Pipeline指定执行Runner和执行方式等。
    • PCollection:Pipeline处理的的分布式数据集。数据集可以是有限的或是无限的,PCollection是Pipeline中每个步骤的输入和输出。
    • Transform:Pipeline中的数据处理操作或步骤。每个Transform将一个或多个PCollection对象作为输入,执行对该PCollection的元素提供的处理函数,并生成一个或多个输出PCollection对象。
    • I / O Source/Sink:数据的输入和输出IO。
    • Runner
    • ParDo:类似于Flink/Spark中Map操作的算子,一般会内嵌一个DoFn。
    • DoFn:Beam中ParDo中编写业务逻辑的对象。

    • ParDo
    • GroupByKey
    • CoGroupByKey
    • Combine
    • Flatten
    • Partition

    参考资料

    https://blog.csdn.net/ffjl1985/article/details/78055152

    https://beam.apache.org/documentation/programming-guide/#what-is-a-schema

    https://beam.apache.org/documentation/io/built-in/

  • 相关阅读:
    线段树(已修改+补题
    畅通工程
    线段树
    charles
    flash
    mysql node pool
    node简单操作mysql的类
    小于任意数字的随机数
    文件系统的移植
    驱动
  • 原文地址:https://www.cnblogs.com/libin2015/p/13932877.html
Copyright © 2011-2022 走看看