zoukankan      html  css  js  c++  java
  • 《深入理解Spark-核心思想与源码分析》(二)第二章Spark设计理念和基本架构

    若夫乘天地之正,而御六气之辩解,以游无穷者,彼且恶乎待哉?

                                                                                                             ——《庄子.逍遥游》

         翻译:至于遵循宇宙万物的规律,把握“六气”的变化,遨游于无穷无尽的境域,他还仰赖什么呢!

    2.1 初始Spark

        第一点是关于MRv1与MRv2的区别对比。

    2.2 Spark基础知识

    主要解释Spark的各个版本,介绍Spark的主要概念,介绍scala与java之间的语言差异。

    2.3 Spark基本设计思想

     

    2.4 Spark基本架构

    Cluster Manager:Spark集群资源管理器,主要负责资源的分配和管理。

    Worker:Spark的工作节点。

    Executor:执行计算任务的一线进程。

    Driver App:客户端驱动程序。

  • 相关阅读:
    Java中HashMap底层实现原理(JDK1.8)源码分析
    java io系列01之 "目录"
    数据结构与算法系列 目录
    Java 集合系列目录(Category)
    ls参数
    在PATH路径中添加新的路径
    目录相关的操作
    chmod
    属性类型
    ls -al
  • 原文地址:https://www.cnblogs.com/sunrunzhi/p/10168518.html
Copyright © 2011-2022 走看看