执行时需要传入的参数说明如下:
Usage: spark-submit [options] <app jar | python file> [app options]
|
|
|
可以是spark://host:port, mesos://host:port, yarn, yarn-cluster,yarn-client, local
|
--deploy-mode DEPLOY_MODE
|
Driver程序运行的地方,client或者cluster
|
|
|
|
|
|
|
|
用逗号隔开的放置在Python应用程序PYTHONPATH上的.zip, .egg, .py文件列表
|
|
用逗号隔开的要放置在每个executor工作目录的文件列表
|
|
设置应用程序属性的文件路径,默认是conf/spark-defaults.conf
|
|
|
|
|
|
|
|
|
|
|
|
Driver程序的使用CPU个数,仅限于Spark Alone模式
|
|
失败后是否重启Driver,仅限于Spark Alone模式
|
--total-executor-cores NUM
|
executor使用的总核数,仅限于Spark Alone、Spark on Mesos模式
|
|
每个executor使用的内核数,默认为1,仅限于Spark on Yarn模式
|
|
提交应用程序给哪个YARN的队列,默认是default队列,仅限于Spark on Yarn模式
|
|
启动的executor数量,默认是2个,仅限于Spark on Yarn模式
|
|
|
|