zoukankan      html  css  js  c++  java
  • 实验-hadoop开发环境部署


     hadoop-0.20.2自带了eclipse插件,比如1.0.0和2.2.0就没有


    1.windows下

    1)把插件hadoop-0.20.2-eclipse-plugin.jar复制到eclipse目录下的plugins目录中;

    2)启动eclipse;

    3) windown->preferences->Hadoop Map/Reduce

    4)打开Map/Reduce视图

    window->show view->Map/Reduce Location

    5)配置hadoop

    右键选择New Hadoop location

    (名字随意、第一个是MR的地址和端口,第二个是HDFS的地址和端口,要配的和配置文件中的一样,特别注意User name一定要填Namenode的用户名,之前因为没注意,一直报错)

    然后运行集群,即可链接

    如果链接不上

    <1>.namenode的防火墙关掉(root用户);

    <2>.关掉HDFS的用户检查

    6)能查看HDFS上的文件说明HDFS链接成功了,再测试一下MR

    <1>.新建一个hadoop工程

    <2>.自己写个代码或者直接贴上wordcount的代码

    <3>.运行。设置输入输出参数

    这时出现问题:

    windows中chmod这个命令,解决办法:安装cygwin,然后把它的安装目录bin目录设置到环境变量Path中就可以了


    2.Linux下(这个要更简单点)

    1)安装eclipse(省略)

    2)安装hadoop插件、Map/Reduce Locations、Hadoop installation Directoy等

    这个不需要配置Linux环境和不用关心用户问题。

    3)测试wordcount也同上。


    其中有个问题我没懂得就是在配置运行参数的时候不能直接用/input/ /output/,必须用hdfs://192.168.126.129:9000/in这样的全称

    我看到别人的文档中可以,不知道是我哪儿设置有问题还是他们在忽悠人

    欲为大树,何与草争;心若不动,风又奈何。
  • 相关阅读:
    C++里面关于虚函数的一些注意点
    HDOJ 2736 Surprising Strings
    hdu
    hdu 4404 Worms(多边形与圆的交)
    HTC one/M7电信802d 毒蛇ViperOne2.1.0/高级毒蛇工具/完美root,精简/更多自定义,稳定,流畅ROM
    Replace
    Centos环境下部署游戏服务器-权限
    jdk1.6与1.7垃圾回收
    java--基于socket的网络传输开发
    番外:android模拟器连不上网
  • 原文地址:https://www.cnblogs.com/admln/p/test-deployDevelopment.html
Copyright © 2011-2022 走看看