zoukankan      html  css  js  c++  java
  • spark使用idea以client模式提交应用到standalone集群

    使用idea以client方式提交代码到standalone集群非常简单。

    1、首先有一个部署好且已经启动的standalone集群

    --------------------------------------------------------------------

    2、将应用打包 (这里两种选择,一种是包里只含应用不含依赖,另一种是包里是有依赖的。)

    没图说个JB:

    可以看到第一个是不带依赖的包,这个包就比较小,第二个就是带依赖的包,比较大。

    如果是带依赖的包那么代码里就不用显示指定所需要的其他依赖包了,也就是说sparkConf.setJars不用调用了。

    如果是不带依赖的包那么就需要指定依赖包了,那么就在sparkConf.setJars里指定依赖包。(注意:因为这里是以client方式启动,所以driver是运行在本地的,所以这里setJars的地址既可以写成本地地址,比如       D:\asd\wqe\sparkDemo.jar;如果是以集群模式启动的话,那么这个jar包的地址必须对所有节点可见,意思是说要么这个地址是个hdfs的地址,要么是个各个节点的本地都有的地址.)

    --------------------------------------------------------------------

    3、代码中设置集群master地址,设置依赖包(spark会让依赖包在集群中传递).

    --------------------------------------------------------------------

    4、运行程序,点那个绿色的箭头.

      

    点击运行后可以查看driver的UI,http://10.217.6.33:4040/jobs/:

    有job在运行,说明成功了!

  • 相关阅读:
    linux设置定时任务的方法(自己总结)
    SecureCRT上传和下载文件
    ajax上传文件类型
    分页业务逻辑
    $.load
    数组中多条对象去重方式
    jquery cookie
    鼠标滚轮事件(浏览器兼容性写法)
    用cookie保存用户的登录信息,规定保存的期限
    获取url参数值
  • 原文地址:https://www.cnblogs.com/yuanyifei1/p/8438981.html
Copyright © 2011-2022 走看看