zoukankan      html  css  js  c++  java
  • Spark运行模式_local(本地模式)

    本地运行模式 (单机)

    •   该模式被称为Local[N]模式,是用单机的多个线程来模拟Spark分布式计算,直接运行在本地,便于调试,通常用来验证开发出来的应用程序逻辑上有没有问题。
    •   其中N代表可以使用N个线程,每个线程拥有一个core。如果不指定N,则默认是1个线程(该线程有1个core)。
    •   如果是local[*],则代表 Run Spark locally with as many worker threads as logical cores on your machine.

            

    那么,这些线程都运行在什么进程下呢?

      运行该模式非常简单,只需要把Spark的安装包解压后,改一些常用的配置即可使用,而不用启动Spark的Master、Worker守护进程( 只有集群的Standalone方式时,才需要这两个角色),也不用启动Hadoop的各服务(除非你要用到HDFS),这是和其他模式的区别哦,要记住才能理解。

    那么,这些执行任务的线程,到底是共享在什么进程中呢?

    我们用如下命令提交作业:

            
    可以看到,在程序执行过程中,只会生成一个SparkSubmit进程。

            

    这个SparkSubmit进程又当爹、又当妈,既是客户提交任务的Client进程、又是Spark的driver程序、还充当着Spark执行Task的Executor角色。(如下图所示:driver的web ui)

            

    这里有个小插曲,因为driver程序在应用程序结束后就会终止,那么如何在web界面看到该应用程序的执行情况呢,需要如此这般:(如下图所示)

            

    转载自:
    作者:俺是亮
    链接:https://www.jianshu.com/p/65a3476757a5
    來源:简书

  • 相关阅读:
    日常
    hdoj 5690 All X (快速幂+取模)
    hdoj 4004 The Frog's Games(二分)
    Mac androidStudio cannot resolve corresponding JNI function
    Mac 切换JDK版本
    MAC系统 如何显示隐藏的文件(文件夹)
    C 读写文件以及简单的文件加密
    C 双向链表的简单排序实现
    Android ViewDragHelper详解
    android Toast的内容过长,如何居中显示?
  • 原文地址:https://www.cnblogs.com/chengzipg/p/9316335.html
Copyright © 2011-2022 走看看