zoukankan      html  css  js  c++  java
  • Spark运行模式_local(本地模式)

    本地运行模式 (单机)

    •   该模式被称为Local[N]模式,是用单机的多个线程来模拟Spark分布式计算,直接运行在本地,便于调试,通常用来验证开发出来的应用程序逻辑上有没有问题。
    •   其中N代表可以使用N个线程,每个线程拥有一个core。如果不指定N,则默认是1个线程(该线程有1个core)。
    •   如果是local[*],则代表 Run Spark locally with as many worker threads as logical cores on your machine.

            

    那么,这些线程都运行在什么进程下呢?

      运行该模式非常简单,只需要把Spark的安装包解压后,改一些常用的配置即可使用,而不用启动Spark的Master、Worker守护进程( 只有集群的Standalone方式时,才需要这两个角色),也不用启动Hadoop的各服务(除非你要用到HDFS),这是和其他模式的区别哦,要记住才能理解。

    那么,这些执行任务的线程,到底是共享在什么进程中呢?

    我们用如下命令提交作业:

            
    可以看到,在程序执行过程中,只会生成一个SparkSubmit进程。

            

    这个SparkSubmit进程又当爹、又当妈,既是客户提交任务的Client进程、又是Spark的driver程序、还充当着Spark执行Task的Executor角色。(如下图所示:driver的web ui)

            

    这里有个小插曲,因为driver程序在应用程序结束后就会终止,那么如何在web界面看到该应用程序的执行情况呢,需要如此这般:(如下图所示)

            

    转载自:
    作者:俺是亮
    链接:https://www.jianshu.com/p/65a3476757a5
    來源:简书

  • 相关阅读:
    Linux服务器centos7系统下搭建Jenkins
    在Linux下执行Jmeter脚本
    Jmeter进阶篇之监控服务器cpu,内存
    Jmeter进阶篇之保存测试结果
    Jmeter进阶篇之逻辑控制器
    Jmeter在非GUI(命令行)模式下生成测试报告
    电商平台满减活动需求分析
    如何在服务器上搭建svn
    电商平台抽奖活动需求分析
    28岁转行软件测试晚不晚
  • 原文地址:https://www.cnblogs.com/chengzipg/p/9316335.html
Copyright © 2011-2022 走看看