zoukankan      html  css  js  c++  java
  • Win7_64位MyEclipse2015提交mapreduce到CDH5.10.0任务失败

    之前在项目上用的是CDH5.5.2,用MyEclipse2015提交的mapreduce任务,当然win7下也要配置虚拟的hadoop环境,win7下的插件版本都是hadoop2.6版本的,因为CDH5.5.2对应的就是hadoop2.6,如下图插件:

    回公司后,在公司的服务器上搭建了一个我自己的CDH,版本为5.10.0,显示的hadoop版本也为hadoop2.6,于是测试WordCount,出现如下错误

    折腾了一天,总算解决了。

    首先根据提示找到了反编译的代码,如下:

    然后又看了CDH5.5.2的相对应包下的源码,发现CDH5.5.2下的根本没有上面的代码,同时,网上搜索的这个问题都是发生在hadoop2.7.x版本下的,于是,我下了个win7的hadoop2.7.1的插件,替换掉了原来的bin目录的所有文件,再次跑程序,成功!

    我不知道CDH5.10.0的hadoop本质上对应的是hadoop2.6.x还是hadoop2.7.x,还是只是对Windows I/O这块对应的不一致!hdfs测试没什么问题,mapreduce需要换成2.7.x的插件,其它如hive/spark等还没测,有测试的朋友可以分享下经验!

  • 相关阅读:
    关联分析(Association analysis)
    Django简介
    YAML快速入门
    YAML 在Python中的应用
    抓包工具、日誌抓取、弱網測試
    实现轮询
    Dubbo-从入门到深入
    Spring Boot
    小程序自动生成图片的标签
    小程序上传图片的大坑
  • 原文地址:https://www.cnblogs.com/yesecangqiong/p/6554465.html
Copyright © 2011-2022 走看看