zoukankan      html  css  js  c++  java
  • spark使用idea以client模式提交应用到standalone集群

    使用idea以client方式提交代码到standalone集群非常简单。

    1、首先有一个部署好且已经启动的standalone集群

    --------------------------------------------------------------------

    2、将应用打包 (这里两种选择,一种是包里只含应用不含依赖,另一种是包里是有依赖的。)

    没图说个JB:

    可以看到第一个是不带依赖的包,这个包就比较小,第二个就是带依赖的包,比较大。

    如果是带依赖的包那么代码里就不用显示指定所需要的其他依赖包了,也就是说sparkConf.setJars不用调用了。

    如果是不带依赖的包那么就需要指定依赖包了,那么就在sparkConf.setJars里指定依赖包。(注意:因为这里是以client方式启动,所以driver是运行在本地的,所以这里setJars的地址既可以写成本地地址,比如       D:\asd\wqe\sparkDemo.jar;如果是以集群模式启动的话,那么这个jar包的地址必须对所有节点可见,意思是说要么这个地址是个hdfs的地址,要么是个各个节点的本地都有的地址.)

    --------------------------------------------------------------------

    3、代码中设置集群master地址,设置依赖包(spark会让依赖包在集群中传递).

    --------------------------------------------------------------------

    4、运行程序,点那个绿色的箭头.

      

    点击运行后可以查看driver的UI,http://10.217.6.33:4040/jobs/:

    有job在运行,说明成功了!

  • 相关阅读:
    JSON数据格式
    段寄存器
    进程 PCB 进程挂起
    python3:文件读写+with open as语句(转)
    Python 中 'unicodeescape' codec can't decode bytes in position XXX: trun错误解决方案
    intelx86为何从0xFFFF0处执行
    Linux内核调度分析(转,侵删)
    调度器简介,以及Linux的调度策略(转)
    nm命令
    Vim文本编辑器中常用的一些命令
  • 原文地址:https://www.cnblogs.com/yuanyifei1/p/8438981.html
Copyright © 2011-2022 走看看