zoukankan      html  css  js  c++  java
  • spark application提交应用的两种方式

    bin/spark-submit --help

    ... ...
    --deploy-mode DEPLOY_MODE   Whether to launch the driver program locally ("client") or
                                   on one of the worker machines inside the cluster ("cluster")
                                   (Default: client).
    ... ...

    --deploy-mode定义了spark运行时的两种方式:

    1)client模式:
         spark应用driver运行在本地,应用输出日志可以在本地查看。
    2)cluster模式:
         spark应用driver运行在cluster中一台节点上,应用输出日志只能通过ui界面查看。

    例1:spark运行在client模式下:

    bin/hdfs dfs -mkdir -p /user/beifeng/mapreduce/wordcount/

    bin/spark-submit
    --master spark://chavin.king:7077
    --deploy-mode client
    jars/sparkApp.jar

    例2:spark运行在cluster模式下:

    bin/hdfs dfs -mkdir -p /user/beifeng/mapreduce/wordcount/

    bin/spark-submit
    --master spark://chavin.king:7077
    --deploy-mode cluster
    jars/sparkApp.jar

  • 相关阅读:
    使用Python创建自己的Instagram滤镜
    TensorFlow v2.0实现逻辑斯谛回归
    自动驾驶研究回顾:CVPR 2019摘要
    dp cf 20190613
    简单搜索 kuangbin C D
    树形dp compare E
    区间dp E
    Codeforces Round #564 (Div. 2)
    网络流 + 欧拉回路 = B
    网络流 A
  • 原文地址:https://www.cnblogs.com/wcwen1990/p/7824157.html
Copyright © 2011-2022 走看看