zoukankan      html  css  js  c++  java
  • Spark Shell & Spark submit

    Spark 的 shell 是一个强大的交互式数据分析工具。

    1. 搭建Spark

    2. 两个目录下面有可执行文件:

    bin  包含spark-shell 和 spark-submit

    sbin 包含

    • sbin/start-master.sh:在机器上启动一个master实例
    • sbin/start-slaves.sh:在每台机器上启动一个slave实例
    • sbin/start-all.sh:同时启动一个master实例和所有slave实例
    • sbin/stop-master.sh:停止master实例
    • sbin/stop-slaves.sh:停止所有slave实例
    • sbin/stop-all.sh:停止master实例和所有slave实例

    注意,这些脚本必须在你的Spark master运行的机器上执行,而不是在你的本地机器上面。

    3.在 Spark 目录里运行spark-shell 和 spark-submit:

    ./bin/spark-shell 

       

    ./bin/spark-submit   可以在集群上启动应用程序。

    3. Spark SQL的入口是  SQLContext类或者它的子类:

    val sqlContext = new org.apache.spark.sql.SQLContext(sc)

      HiveContext:

    从SQLContext继承而来,它增加了在MetaStore中发现表以及利用HiveSql写查询的功能.

    4. Graphx 的打印输出 output

    graph.vertices.collect.foreach(println(_))

    graph.edges.collect.foreach(println(_))

    5. Spark 配置

    Spark提供三个位置用来配置系统:

    • Spark properties控制大部分的应用程序参数,可以用SparkConf对象或者java系统属性设置
    • Environment variables可以通过每个节点的conf/spark-env.sh脚本设置每台机器的设置。例如IP地址
    • Logging可以通过log4j.properties配置
     
  • 相关阅读:
    property补充
    利用描述符自定制property
    类的装饰器
    上下文协议管理
    描述符
    迭代器协议
    doc属性__module__属性__del__(垃圾回收)__call__方法
    【移动支付】.NET支付宝App支付接入
    【WPF】PopupColorEdit 的使用
    【MVVM Dev】PART_Editor的使用
  • 原文地址:https://www.cnblogs.com/skyEva/p/5485808.html
Copyright © 2011-2022 走看看