zoukankan      html  css  js  c++  java
  • 【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型第2节:Spark架构设计(2)

    三, Spark的RDD

     在Spark中一切都是以RDD为基础和核心的:

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

    每个RDD的API如下所示:

    Spark官方文档中给出了的众多的RDD:

     

    RDD中的操作分为transformations和actions两种:

    下面举一个例子来说明RDD的使用:

    另外有两个特殊的RDD:

    他们都是controlling operations:

    RDD在执行的时候都是并行的:

    四, Spark的高容错机制lineage

     

    基于DAG图,lineage是轻量级而高效的:

    操作之间相互具备lineage的关系,每个操作只关心其父操作,各个分片的数据之间互不影响,出现错误的时候只要恢复单个Split的特定部分即可:

     

  • 相关阅读:
    Java线程死锁模拟
    Arrays Multi
    PHP Forms
    simple grammer
    有意义的命名 Meaningful names
    整洁代码
    XPath
    多态
    复用类
    访问控制权限
  • 原文地址:https://www.cnblogs.com/spark-china/p/4186496.html
Copyright © 2011-2022 走看看