zoukankan      html  css  js  c++  java
  • 在window下远程虚拟机(centos)hadoop运行mapreduce程序

    (注:虽然连接成功但是还是执行不了。以后有时间再解决吧 看到的人别参考仅作个人笔记)先mark下

    1、首先在window下载好一个eclipse。和拷贝好linux里面hadoop版本对应的插件(我是用hadoop-eclipse-plugin-2.3.0.jar)

    2、拷贝hadoop-eclipse-plugin-2.3.0.jar到window下eclipse plugins里面

    3、配置hadoop目录window---》preference----》hadoop map/reduce

    4、配置Map/Reduce Location :

    Map/Reduce Master:Job Tracker的IP和端口,根据mapred-site.xml中配置的mapred.job.tracker来填写
    DFS Master
    :Name Node的IP和端口,根据core-site.xml中配置的fs.default.name来填写

    username 填root用户

    依照此例还可创建别的自己需要的Location,如pseudo。此时在Porject Explorer 的DFS Locations下会出现刚刚配置好的Location,开启相应的hadoop集群进程就可以点击查看目录结构了,而且点击右键,可以进行新建文件夹、删除文件夹、上传文件、下载文件、删除文件等操作。

    此时拷贝入完整的hadoop项目进行运行可能会报null错误,可以参考次贴进行解决(http://bbs.csdn.net/topics/390732651)

    我是window64系统,安装了32位JDK。把hadoop.dll拷贝到(C:WindowsSystem32)(C:WindowsSysWOW64)目录下可以解决。HDFS目录出来说明连接上,运行正确的hadoop项目会出错说明是缺少兼容文件。大家可以尝试帖子里面一些做法。

    解决后可以正确运行:

  • 相关阅读:
    timequest 中set input delay set output delay 的使用
    ALTERA的FPGA命名规则
    modelsim仿真常用系统函数
    altium布局布线原则
    altium常用快捷键记录
    第五篇:使用无缓冲IO函数读写文件
    第四篇:“ 不确定 "限制值的使用
    第三篇:POSIX标准中的 “ 限制 ”
    第二篇:库函数和系统调用的区别
    hdu 4284(状压dp)
  • 原文地址:https://www.cnblogs.com/yaohaitao/p/5424506.html
Copyright © 2011-2022 走看看