zoukankan      html  css  js  c++  java
  • 在eclipse中使用hadoop插件

    我的配置环境看我的上篇博文。

    配置过程:

    (1)把插件放到eclipse/plugins目录下。(我的版本上一篇也有)

    3)重启eclipse,配置Hadoop installation directory

    如果插件安装成功,打开Windows—Preferences后,在窗口左侧会有Hadoop Map/Reduce选项,点击此选项,在窗口右侧设置Hadoop安装路径

    4)配置Map/Reduce Locations

    打开Windows—Open Perspective—Other,选择Map/Reduce,点击OK

    点击Map/Reduce Location选项卡,点击右边小象图标,打开Hadoop Location配置窗口:

    输入Location Name,任意名称即可.配置Map/Reduce MasterDFS MastrerHostPort配置成与core-site.xml的设置一致即可(9000)(貌似Map/Reduce Master 的端口设置任何数字都可以?)

    点击"Finish"按钮,关闭窗口。

    点击左侧的DFSLocations—>myhadoop(上一步配置的location name),如能看到user,表示安装成功

    5)新建WordCount项目

    File—>Project,选择Map/Reduce Project,输入项目名称比如:WordCount等。

    然后就可以开始写了。

    WordCount的代码网上有很多不再赘述。

    运行:

    HDFS上创建目录/test

    hadoop fs -mkdir /test

    拷贝本地hello.txtHDFS/test

    hadoop fs -copyFromLocal /usr/local/hadoop/input/hello.txt /test

    点击WordCount.java,右键,点击Run As—>Run Configurations->arguments,配置运行参数,即输入和输出文件夹

    hdfs://localhost:9000/test

    hdfs://localhost:9000/test/out

    点击Run按钮,运行程序。

    运行完成后,查看运行结果

    方法1

    hadoop fs -ls output

    可以看到有两个输出结果,_SUCCESSpart-r-00000

    执行hadoop fs -cat output/*

    方法2:

    展开DFS Locations,如下图所示,双击打开part-r00000查看结果

  • 相关阅读:
    子组 正则表达式
    正则表达式
    马云北大演讲完整版:真心话,什么才是阿里的核心竞争力?-2014-03-20
    形象化的spring 依赖注入原理
    程序员的六层境界
    apache配置运行zendframework 2
    php编写简单的页面跳转功能
    php随机验证码
    没啥说的
    PHP流程控制语句下
  • 原文地址:https://www.cnblogs.com/flyuz/p/9118002.html
Copyright © 2011-2022 走看看