zoukankan      html  css  js  c++  java
  • spark application提交应用的两种方式

    bin/spark-submit --help

    ... ...
    --deploy-mode DEPLOY_MODE   Whether to launch the driver program locally ("client") or
                                   on one of the worker machines inside the cluster ("cluster")
                                   (Default: client).
    ... ...

    --deploy-mode定义了spark运行时的两种方式:

    1)client模式:
         spark应用driver运行在本地,应用输出日志可以在本地查看。
    2)cluster模式:
         spark应用driver运行在cluster中一台节点上,应用输出日志只能通过ui界面查看。

    例1:spark运行在client模式下:

    bin/hdfs dfs -mkdir -p /user/beifeng/mapreduce/wordcount/

    bin/spark-submit
    --master spark://chavin.king:7077
    --deploy-mode client
    jars/sparkApp.jar

    例2:spark运行在cluster模式下:

    bin/hdfs dfs -mkdir -p /user/beifeng/mapreduce/wordcount/

    bin/spark-submit
    --master spark://chavin.king:7077
    --deploy-mode cluster
    jars/sparkApp.jar

  • 相关阅读:
    2017年3月笔记
    2017年2月笔记
    2017年1月笔记
    2016年12月笔记
    2016年11月笔记
    2016年10月笔
    2016年9月笔记
    2016年8月笔记
    2016年7月笔记
    2016年6月笔记
  • 原文地址:https://www.cnblogs.com/wcwen1990/p/7824157.html
Copyright © 2011-2022 走看看