zoukankan      html  css  js  c++  java
  • Spark-submit用法

    spark-submit -h 查看用法

    spark-submit -h

    Usage: spark-submit [options] <app jar | python file | R file> [app arguments]

    常见的[options] 如下表:

    “--master”参数解释如下表:

    蒙特卡罗(Monte Carlo)方法计算圆周率

    正方形内部有一个相切的圆,它们的面积之比是π/4,如果点均匀分布,那么圆内的点应该占到所有点的 π/4。

    执行下面几种方式。
    注意:在运行后注意打开网页http://[IP地址]:8080,查看是否有应用程序(Application)。
    以下路径名字根据自己ubantu更换

    • 方式一:没有指定“--master”

    spark-submit --class org.apache.spark.examples.SparkPi /home/hadoop/spark/examples/jars/spark-examples_2.11-2.4.0.jar 100

    • 方式二:指定“--master”为local

    spark-submit --master local --class org.apache.spark.examples.SparkPi /home/hadoop/spark/examples/jars/spark-examples_2.11-2.4.0.jar 100

    • 方式三:指定“--master”为local[2]

    spark-submit --master local[2] --class org.apache.spark.examples.SparkPi /home/hadoop/spark/examples/jars/spark-examples_2.11-2.4.0.jar 100

    • 方式四:指定“--master”为local[*]

    spark-submit --master local[*] --class org.apache.spark.examples.SparkPi /home/hadoop/spark/examples/jars/spark-examples_2.11-2.4.0.jar 100

    • 方式五:指定“--master”为spark://hostname:7077

    spark-submit --master spark://node1:7077 --class org.apache.spark.examples.JavaSparkPi /home/hadoop/spark/examples/jars/spark-examples_2.11-2.4.0.jar 100

    • 方式六:运行py文件

    spark-submit --master spark://node1:7077 /home/hadoop/spark/examples/src/main/python/pi.py 100

  • 相关阅读:
    SpringBoot到底run了什么
    Activity生命周期
    Activities and Tasks
    Android开发指南中文版(二)Application Fundamentals
    Android开发指南中文版(三)Intents and Intent Filters
    Android开发指南中文版(一)What is Android?
    Activity的启动模式
    skydrive 中 文件夹以zip格式下载,含有中文的文件将会被改名
    装了7个虚拟机
    google reader 居然要关闭了?
  • 原文地址:https://www.cnblogs.com/jiajiaba/p/10581270.html
Copyright © 2011-2022 走看看