zoukankan      html  css  js  c++  java
  • Spark概念介绍

    Spark概念介绍:
    spark应用程序在集群中以一系列独立的线程运行,通过驱动器程序(Driver Program)发起一系列的并行操作。SparkContext对象作为中间的连接对象,通过SparkContext对象连接集群。SparkContext对象可以连接集群管理器(YARN,Mesos.standalone等)

    目前Spark集群支持以下集群管理模式:
    (1)本地模式
    (2)Mesos模式: 一种通用的集群管理模式,可以运行Hadoop Mapreduce和应用服务 
    (3)YARN模式:Hadoop2.0的资源管理模式

    Spark的Http Server的启动过程:
    在SparkContext初始化的过程中创建SparkUI(包含一个bind函数)
    bind函数中的startJettyServer函数通过Connect启动JettyServer

    Spark WebUI的页面数据获取:
    当SparkUI进行初始化操作时,会添加监听(Listener)
    SparkListener(利用观察者模式),如果监听到Stage和task相关的事件发生,Listener就会收到通知,则对数据进行更新,页面的数据需要手动进行刷新

  • 相关阅读:
    深入浅出HTTP协议
    HTTP协议 URL
    HTTP Request
    HTTP 响应
    浅谈OpenStack架构
    Google云平台技术架构
    接口文档神器之apidoc
    .haccess 配置生效
    php namespace与use
    mysql 带条件的sum/count 使用技巧
  • 原文地址:https://www.cnblogs.com/dtstack/p/9957219.html
Copyright © 2011-2022 走看看