zoukankan      html  css  js  c++  java
  • 在window下远程虚拟机(centos)hadoop运行mapreduce程序

    (注:虽然连接成功但是还是执行不了。以后有时间再解决吧 看到的人别参考仅作个人笔记)先mark下

    1、首先在window下载好一个eclipse。和拷贝好linux里面hadoop版本对应的插件(我是用hadoop-eclipse-plugin-2.3.0.jar)

    2、拷贝hadoop-eclipse-plugin-2.3.0.jar到window下eclipse plugins里面

    3、配置hadoop目录window---》preference----》hadoop map/reduce

    4、配置Map/Reduce Location :

    Map/Reduce Master:Job Tracker的IP和端口,根据mapred-site.xml中配置的mapred.job.tracker来填写
    DFS Master
    :Name Node的IP和端口,根据core-site.xml中配置的fs.default.name来填写

    username 填root用户

    依照此例还可创建别的自己需要的Location,如pseudo。此时在Porject Explorer 的DFS Locations下会出现刚刚配置好的Location,开启相应的hadoop集群进程就可以点击查看目录结构了,而且点击右键,可以进行新建文件夹、删除文件夹、上传文件、下载文件、删除文件等操作。

    此时拷贝入完整的hadoop项目进行运行可能会报null错误,可以参考次贴进行解决(http://bbs.csdn.net/topics/390732651)

    我是window64系统,安装了32位JDK。把hadoop.dll拷贝到(C:WindowsSystem32)(C:WindowsSysWOW64)目录下可以解决。HDFS目录出来说明连接上,运行正确的hadoop项目会出错说明是缺少兼容文件。大家可以尝试帖子里面一些做法。

    解决后可以正确运行:

  • 相关阅读:
    Tesseract-OCR
    chrome浏览器插件推荐
    安装配置sublime Text 3 快捷键方式
    远程桌面与远程控制
    一个C#的XML数据库访问类
    WPF小程序:贪吃蛇
    恐惧源于一知半解
    8条佛曰 66句禅语
    自动开机 双网卡网络唤醒
    C#,Java,C++中的finally关键字
  • 原文地址:https://www.cnblogs.com/yaohaitao/p/5424506.html
Copyright © 2011-2022 走看看