zoukankan      html  css  js  c++  java
  • spark-submit的参数名称解析

    执行时需要传入的参数说明

    Usage: spark-submit [options] <app jar | Python file> [app options]

    参数名称

    含义

    --master MASTER_URL

    可以是spark://host:port, mesos://host:port, yarn,  yarn-cluster,yarn-client, local

    --deploy-mode DEPLOY_MODE

    Driver程序运行的地方,client或者cluster

    --class CLASS_NAME

    主类名称,含包名

    --name NAME

    Application名称

    --jars JARS

    Driver依赖的第三方jar包

    --py-files PY_FILES

    用逗号隔开的放置在Python应用程序PYTHONPATH上的.zip,  .egg, .py文件列表

    --files FILES

    用逗号隔开的要放置在每个executor工作目录的文件列表

    --properties-file FILE

    设置应用程序属性的文件路径,默认是conf/spark-defaults.conf

    --driver-memory MEM

    Driver程序使用内存大小

    --driver-java-options

     

    --driver-library-path

    Driver程序的库路径

    --driver-class-path

    Driver程序的类路径

    --executor-memory MEM

    executor内存大小,默认1G

    --driver-cores NUM

    Driver程序的使用CPU个数,仅限于Spark Alone模式

    --supervise

    失败后是否重启Driver,仅限于Spark  Alone模式

    --total-executor-cores NUM

    executor使用的总核数,仅限于Spark Alone、Spark on Mesos模式

    --executor-cores NUM

    每个executor使用的内核数,默认为1,仅限于Spark on Yarn模式

    --queue QUEUE_NAME

    提交应用程序给哪个YARN的队列,默认是default队列,仅限于Spark on Yarn模式

    --num-executors NUM

    启动的executor数量,默认是2个,仅限于Spark on Yarn模式

    --archives ARCHIVES

    仅限于Spark on Yarn模式

  • 相关阅读:
    PHP基础笔记之一
    乱码问题
    PHP函数
    取色工具ColorPix
    框架
    区别和详解:jQuery中的 $().each()和$.each()/jQuery.each()
    区别和详解:jQuery extend()和jQuery.fn.extend()
    H5基于iScroll实现下拉刷新,上拉加载更多....
    重要选择器querySelector和querySelectorAll
    微信对话框小三角形实现
  • 原文地址:https://www.cnblogs.com/ilinuxer/p/6759739.html
Copyright © 2011-2022 走看看