zoukankan      html  css  js  c++  java
  • 在eclipse上提交任务到集群执行

    win7下eclipse远程开发hadoop程序,分为两种:

      (1)运行【Run As】 Java Application, 打包程序为jar,上传集群执行(这里不做解释)

      (2)运行【Run As】 Run on Hadoop

    重点来说说Run on Hadoop这种方式,搭建好eclipse远程开发环境,执行Run on Hadoop,程序成功了,心里窃喜,却发现是这个样子:

    我明明设置job.setNumReduceTasks(6),最终本应该有6个reduce输出,怎么成了一个?

    发现这里都是以LocalJobRunner本地执行的,并没有把资源提交到集群执行,我想,那就设置它去集群执行呗,于是添加:

    执行,又出现了下面的错误:

    尽然找不到自定义的MyMapper,这么回事,还记得集群上执行任务时,是要把资源先打打包到hdfs中,原来如此,

    于是,打包hadoop程序为ttt.jar,并通过配置设置如下:

    再次执行,运行成功,如下:

    小结:

    1、eclipse上提交任务到集群执行,很多配置还是使用的本地的,最好用代码实现

    2、提交任务到集群执行,先要提交资源到hdfs上

    我喜欢一无所有,这样就只能一步一步的创造世界...
  • 相关阅读:
    企业付款到零钱,现金红包
    Ubuntu 添加,删除ppa
    Ubuntu16.04下的主题美化
    Mysql 统计查询
    crontab修改默认编辑器
    highcharts PHP中使用
    解决ubuntu开机进入grub界面的问题
    商城功能,助力商家
    PHP获取固定概率
    PHP概率,抽奖
  • 原文地址:https://www.cnblogs.com/riordon/p/4049865.html
Copyright © 2011-2022 走看看