zoukankan      html  css  js  c++  java
  • 实验-hadoop开发环境部署


     hadoop-0.20.2自带了eclipse插件,比如1.0.0和2.2.0就没有


    1.windows下

    1)把插件hadoop-0.20.2-eclipse-plugin.jar复制到eclipse目录下的plugins目录中;

    2)启动eclipse;

    3) windown->preferences->Hadoop Map/Reduce

    4)打开Map/Reduce视图

    window->show view->Map/Reduce Location

    5)配置hadoop

    右键选择New Hadoop location

    (名字随意、第一个是MR的地址和端口,第二个是HDFS的地址和端口,要配的和配置文件中的一样,特别注意User name一定要填Namenode的用户名,之前因为没注意,一直报错)

    然后运行集群,即可链接

    如果链接不上

    <1>.namenode的防火墙关掉(root用户);

    <2>.关掉HDFS的用户检查

    6)能查看HDFS上的文件说明HDFS链接成功了,再测试一下MR

    <1>.新建一个hadoop工程

    <2>.自己写个代码或者直接贴上wordcount的代码

    <3>.运行。设置输入输出参数

    这时出现问题:

    windows中chmod这个命令,解决办法:安装cygwin,然后把它的安装目录bin目录设置到环境变量Path中就可以了


    2.Linux下(这个要更简单点)

    1)安装eclipse(省略)

    2)安装hadoop插件、Map/Reduce Locations、Hadoop installation Directoy等

    这个不需要配置Linux环境和不用关心用户问题。

    3)测试wordcount也同上。


    其中有个问题我没懂得就是在配置运行参数的时候不能直接用/input/ /output/,必须用hdfs://192.168.126.129:9000/in这样的全称

    我看到别人的文档中可以,不知道是我哪儿设置有问题还是他们在忽悠人

    欲为大树,何与草争;心若不动,风又奈何。
  • 相关阅读:
    将数据导入第三方系统
    希望可以看到自己的积分
    WF疑惑
    GUID
    wf HandlExternalEvent传递参数到自定义属性中
    今天做了一天的网站,烦恼
    WF 参数传递,今天终于把WORKFLOW的参数回传回来了
    今天开始在这里写博了
    寻求帮助,怪问题
    WF终于有了一点入门的感觉
  • 原文地址:https://www.cnblogs.com/admln/p/test-deployDevelopment.html
Copyright © 2011-2022 走看看