zoukankan      html  css  js  c++  java
  • 在eclipse上提交任务到集群执行

    win7下eclipse远程开发hadoop程序,分为两种:

      (1)运行【Run As】 Java Application, 打包程序为jar,上传集群执行(这里不做解释)

      (2)运行【Run As】 Run on Hadoop

    重点来说说Run on Hadoop这种方式,搭建好eclipse远程开发环境,执行Run on Hadoop,程序成功了,心里窃喜,却发现是这个样子:

    我明明设置job.setNumReduceTasks(6),最终本应该有6个reduce输出,怎么成了一个?

    发现这里都是以LocalJobRunner本地执行的,并没有把资源提交到集群执行,我想,那就设置它去集群执行呗,于是添加:

    执行,又出现了下面的错误:

    尽然找不到自定义的MyMapper,这么回事,还记得集群上执行任务时,是要把资源先打打包到hdfs中,原来如此,

    于是,打包hadoop程序为ttt.jar,并通过配置设置如下:

    再次执行,运行成功,如下:

    小结:

    1、eclipse上提交任务到集群执行,很多配置还是使用的本地的,最好用代码实现

    2、提交任务到集群执行,先要提交资源到hdfs上

    我喜欢一无所有,这样就只能一步一步的创造世界...
  • 相关阅读:
    题解【51nod 1290 Counting Diff Pairs】
    题解【luogu3709 大爷的字符串题】
    数据库唯一索引冲突不抛出异常的两种方式
    git 查看远程分支最后一次提交时间
    Java占位符
    IntelliJ IDEA注册码
    git忽略本地文件
    ThreadPoolExecutor参数
    MyBatis是如何解决Sql注入的
    Java 泛型
  • 原文地址:https://www.cnblogs.com/riordon/p/4049865.html
Copyright © 2011-2022 走看看