zoukankan      html  css  js  c++  java
  • spark使用idea以client模式提交应用到standalone集群

    使用idea以client方式提交代码到standalone集群非常简单。

    1、首先有一个部署好且已经启动的standalone集群

    --------------------------------------------------------------------

    2、将应用打包 (这里两种选择,一种是包里只含应用不含依赖,另一种是包里是有依赖的。)

    没图说个JB:

    可以看到第一个是不带依赖的包,这个包就比较小,第二个就是带依赖的包,比较大。

    如果是带依赖的包那么代码里就不用显示指定所需要的其他依赖包了,也就是说sparkConf.setJars不用调用了。

    如果是不带依赖的包那么就需要指定依赖包了,那么就在sparkConf.setJars里指定依赖包。(注意:因为这里是以client方式启动,所以driver是运行在本地的,所以这里setJars的地址既可以写成本地地址,比如       D:\asd\wqe\sparkDemo.jar;如果是以集群模式启动的话,那么这个jar包的地址必须对所有节点可见,意思是说要么这个地址是个hdfs的地址,要么是个各个节点的本地都有的地址.)

    --------------------------------------------------------------------

    3、代码中设置集群master地址,设置依赖包(spark会让依赖包在集群中传递).

    --------------------------------------------------------------------

    4、运行程序,点那个绿色的箭头.

      

    点击运行后可以查看driver的UI,http://10.217.6.33:4040/jobs/:

    有job在运行,说明成功了!

  • 相关阅读:
    Hibernate——openSession和getCurrentSession区别
    Oracle存储过程分页 详解
    如何破解mysql数据库的密码
    Oracle约束详解
    Oracle分页查询
    Oracle如何管理权限和角色
    悲观锁和乐观锁详解
    Oracle控制结构详解
    Rose建模之各模型分析
    div布局中将页面居中的方法
  • 原文地址:https://www.cnblogs.com/yuanyifei1/p/8438981.html
Copyright © 2011-2022 走看看