zoukankan      html  css  js  c++  java
  • 012 Spark在IDEA中打jar包,并在集群上运行(包括local模式,standalone模式,yarn模式的集群运行)

    一:打包成jar

    1.修改代码

      

    2.使用maven打包

      但是目录中有中文,会出现打包错误

      

    3.第二种方式

      

    4.下一步

      

    5.下一步

      

    6.下一步

      

    7.下一步

      

    8.下一步

      

    9.完成

      

     二:在集群上运行(local模式)

    1.上传

      

    2.学习spark-submit的使用方式

      

    3.运行(local模式)

      

    4.运行结果

      

    三:集群上运行(standalone模式)

    1.DeoloyMode

      表示Driver执行的位置。

      client如果是参数,则表示driver执行在执行spark-submit命令的机器上。

      cluster是参数,则表示driver会运行在集群中选择的某一台机器上。

    2.运行(standalone模式的client)

      

    3.结果(8080端口)

      

    4.运行(standalone模式的cluster)

      

    5.结果

      

    四:介绍模式

    1.client

      

    2.cluster

      工作中一般都是这个,想一下还是很符合实际的。

      

    五:YARN模式

    1.使用方式

      将上面的--master修改成yarn就可以运行了。

      

      

      

      

  • 相关阅读:
    Leetcode | Work Break I & II
    X-Japan
    Leetcode | Gas Station
    jstring, String, char* 变换函数
    动态链接库的创建
    C语言实现md5函数代码
    ARM汇编指令集
    2014年 各类黑客工具包
    ARM汇编指令的一些总结-转
    ARM指令集学习总结-转载
  • 原文地址:https://www.cnblogs.com/juncaoit/p/6381562.html
Copyright © 2011-2022 走看看