zoukankan      html  css  js  c++  java
  • 在window下远程虚拟机(centos)hadoop运行mapreduce程序

    (注:虽然连接成功但是还是执行不了。以后有时间再解决吧 看到的人别参考仅作个人笔记)先mark下

    1、首先在window下载好一个eclipse。和拷贝好linux里面hadoop版本对应的插件(我是用hadoop-eclipse-plugin-2.3.0.jar)

    2、拷贝hadoop-eclipse-plugin-2.3.0.jar到window下eclipse plugins里面

    3、配置hadoop目录window---》preference----》hadoop map/reduce

    4、配置Map/Reduce Location :

    Map/Reduce Master:Job Tracker的IP和端口,根据mapred-site.xml中配置的mapred.job.tracker来填写
    DFS Master
    :Name Node的IP和端口,根据core-site.xml中配置的fs.default.name来填写

    username 填root用户

    依照此例还可创建别的自己需要的Location,如pseudo。此时在Porject Explorer 的DFS Locations下会出现刚刚配置好的Location,开启相应的hadoop集群进程就可以点击查看目录结构了,而且点击右键,可以进行新建文件夹、删除文件夹、上传文件、下载文件、删除文件等操作。

    此时拷贝入完整的hadoop项目进行运行可能会报null错误,可以参考次贴进行解决(http://bbs.csdn.net/topics/390732651)

    我是window64系统,安装了32位JDK。把hadoop.dll拷贝到(C:WindowsSystem32)(C:WindowsSysWOW64)目录下可以解决。HDFS目录出来说明连接上,运行正确的hadoop项目会出错说明是缺少兼容文件。大家可以尝试帖子里面一些做法。

    解决后可以正确运行:

  • 相关阅读:
    css样式的调用方法
    分页的实现 (占个位)
    获取当前脚本的进程PID号
    Mail插件 (占个位 后面补充)
    ovs-vswitchd的启动分析
    OPCServer:使用Matrikon OPC Server Simulation
    OPCServer:使用KEPServer
    Java OPC 代码
    OPC 协议认识
    OPC 技术学习总结
  • 原文地址:https://www.cnblogs.com/yaohaitao/p/5424506.html
Copyright © 2011-2022 走看看