zoukankan      html  css  js  c++  java
  • spark-submit参数说明--standalone

    示例: spark-submit [--option value] <application jar> [application arguments]

    参数名称

    含义

    --master MASTER_URL

    spark://host:port

    --deploy-mode DEPLOY_MODE

    Driver程序运行的地方:clientcluster,默认是client

    --class CLASS_NAME

    应用程序主类名称,含包名

    --name NAME

    应用程序名称

    --jars JARS

    Driver依赖的第三方jar包

    --properties-file FILE

    应用程序属性的文件路径,默认是conf/spark-defaults.conf

    以下设置Driver

    --driver-cores NUM

    Driver程序的使用CPU核数,默认1(只用于cluster

    --driver-memory MEM

    Driver程序使用内存大小,默认512M

    --driver-library-path

    Driver程序的库路径

    --driver-class-path

    Driver程序的类路径

    --driver-java-options

     

    --supervise

    重启失败的Driver(只用于cluster

     

    以下设置Executor

    --total-executor-cores NUM

    所有executor使用的总核数

    --executor-memory MEM

    executor内存大小,默认1G

    --files FILES

    用逗号隔开的要放置在每个executor工作目录的文件列表

    注意

    standalone模式每个worker一个executor,无法修改executor的数量

  • 相关阅读:
    最长连续子序列(dp,分而治之递归)
    判断线段是否相交
    1840: Jack Straws
    5065: 最长连续子序列
    TZOJ 4493: Remove Digits
    TZOJ 5271: 质因数的个数
    2019年天梯赛
    PTA 树的遍历
    TZOJ:3660: 家庭关系
    PTA 复数四则运算
  • 原文地址:https://www.cnblogs.com/liugh/p/6952941.html
Copyright © 2011-2022 走看看