zoukankan      html  css  js  c++  java
  • pyspark启动与简单使用----本地模式(local)----shell

    在Spark中采用本地模式启动pyspark的命令主要包含以下参数:
    –master:这个参数表示当前的pyspark要连接到哪个master,如果是local[*],就是使用本地模式启动pyspark,其中,中括号内的星号表示需要使用几个CPU核心(core);
    –jars: 这个参数用于把相关的JAR包添加到CLASSPATH中;如果有多个jar包,可以使用逗号分隔符连接它们;

    1比如,要采用本地模式,在4个CPU核心上运行pyspark:

    1.  
      cd ~/app/spark-2.3.0-bin-2.6.0-cdh5.7.0/
    2.  
      ./bin/pyspark --master local[4]

    可以在CLASSPATH中添加code.jar,命令如下:

    ./bin/pyspark --master local[4] --jars code.jar 

    查看完整命令方法介绍

    ./bin/pyspark --help

    采用本地模式运行,并且使用本地所有的CPU核心。相当于bin/pyspark–master local[*]

    ./bin/pyspark
  • 相关阅读:
    Subsets II
    Pow(x, n)
    基本数据结构 —— 二叉搜索树(C++实现)
    基本数据结构 —— 堆以及堆排序(C++实现)
    Symmetric Tree
    Same Tree
    C++中三种传递参数方法的效率分析
    Word Search
    Subsets
    Combinations
  • 原文地址:https://www.cnblogs.com/ExMan/p/14309654.html
Copyright © 2011-2022 走看看