zoukankan      html  css  js  c++  java
  • spark学习12(spark架构原理)

    spark采用的是主从式的架构,主节点叫master,从节点是worker

    Driver

    我们编写的spark就在Driver上,由driver进程执行。
    Driver是spark集群的节点之一,或你提交spark程序的机器

    Master

    master是集群的资源管理者和调度者,类似yarn里面的ResourceManger,还负责监控整个集群的监控状况

    Worker

    用自己的内存缓存RDD数据
    使用内存对partition的数据进行计算

    Executor

    Task

    默认情况下是一个block文件块是一个RDD的分区,一个分区就是一个task任务

    spark standalone模式

    1)会启动driver,会做一些初始化的工作,在初始化的这个过程中,会发送请求给master,请求注册,这样master就知道有活要干了

    2)master接受到请求以后,master发送请求给worker,请求资源调度,说白了请求资源调度就是需要在worker节点上面,启动executor。具体启动几个executor,是在提交代码的时候制定好的

    3)executor启动好后会向driver进行反向注册,这样driver就知道哪些executor为该任务进行服务

    4)driver注册了executor以后,这个才开始执行spark程序,首先创建RDD,后面就是对RDD进行算子操作,根据对这些RDD的定义,会形成一堆Task任务,比如进行flatMap,map等操作。将task任务发送给executor,executor会接收task任务,就在executor启动task

    5)task任务会对RDD里面的partition进行算子操作

  • 相关阅读:
    iOS开发之瞬间位移动画效果
    iOS开发之吸附动画效果
    ios开发之触碰动画效果
    iOS 开发之重力动画效果
    iOS开发之拖动图片
    《View Programming Guide for iOS》之frame、bounds和center之间的关系
    《view programming guide for iOS 》之可以使用动画效果的属性
    《Programming with Objective-C》的常规规定
    HDU 5857
    HDU 5867
  • 原文地址:https://www.cnblogs.com/wujiadong2014/p/6389074.html
Copyright © 2011-2022 走看看