zoukankan      html  css  js  c++  java
  • 012 Spark在IDEA中打jar包,并在集群上运行(包括local模式,standalone模式,yarn模式的集群运行)

    一:打包成jar

    1.修改代码

      

    2.使用maven打包

      但是目录中有中文,会出现打包错误

      

    3.第二种方式

      

    4.下一步

      

    5.下一步

      

    6.下一步

      

    7.下一步

      

    8.下一步

      

    9.完成

      

     二:在集群上运行(local模式)

    1.上传

      

    2.学习spark-submit的使用方式

      

    3.运行(local模式)

      

    4.运行结果

      

    三:集群上运行(standalone模式)

    1.DeoloyMode

      表示Driver执行的位置。

      client如果是参数,则表示driver执行在执行spark-submit命令的机器上。

      cluster是参数,则表示driver会运行在集群中选择的某一台机器上。

    2.运行(standalone模式的client)

      

    3.结果(8080端口)

      

    4.运行(standalone模式的cluster)

      

    5.结果

      

    四:介绍模式

    1.client

      

    2.cluster

      工作中一般都是这个,想一下还是很符合实际的。

      

    五:YARN模式

    1.使用方式

      将上面的--master修改成yarn就可以运行了。

      

      

      

      

  • 相关阅读:
    Dynamically allocated memory 动态分配内存【malloc】Memory leaks 内存泄漏
    const pointers
    heap是堆,stack是栈
    Java中使用Cookie
    Postman注册、登录、导出、导入
    HttpServletRequest get post 入参
    判断设置的时间是否大于当前时间
    JS回车登录
    一个普通的Ajax
    Java工具类
  • 原文地址:https://www.cnblogs.com/juncaoit/p/6381562.html
Copyright © 2011-2022 走看看