zoukankan      html  css  js  c++  java
  • 每天收获一点点------Hadoop Eclipse插件的使用

    本文所用软件版本:myeclipe2014    hadoop1.2.1

    1、安装Hadoop开发插件

        下载hadoop-eclipse-plugin-1.2.1.jar,拷贝到myeclipse根目录下/dropins目录下。

    2、 启动myeclipse,打开Perspective:

    【Window】->【Open Perspective】->【Other...】->【Map/Reduce】->【OK】

    3、 打开一个View:

    【Window】->【Show View】->【Other...】->【MapReduce Tools】->【Map/Reduce Locations】->【OK】

    4、 添加Hadoop location:

    此处添加自己的hadoop安装路径。

    5、new Hadoop location

    修改其中内容:

    Map/Reduce Master 这个框里:这两个参数就是mapred-site.xml里面mapred.job.tracker里面的ip和port  

    DFS Master 这个框里:这两个参数就是core-site.xml里面fs.default.name里面的ip和port

     user name:这个是连接hadoop的用户名

    因为我是用root户安装的hadoop,而且没建立其他的用户,所以用root。下面的不用填写。
    然后点击finish按钮,此时,这个视图中就有多了一条记录。

    修改后:

    重启myeclipse并重新编辑刚才建立的那个连接记录,现在我们编辑advance parameters tab页

    此页只需修改,其中箭头所示处,后面填core-site.xml里所对应的路径即可。

    然后点击finish,然后就连接上了(先要启动sshd服务,启动hadoop进程),连接上的标志如图:

    6、再跑wordcount例子

    新建Map/Reduce Project:

    【File】->【New】->【Project...】->【Map/Reduce】->【Map/Reduce Project】->【Project name: WordCount】->【Configure Hadoop install directory...】->【Hadoop installation directory: usr/local/hadoop/hadoop-1.2.1】->【Apply】->【OK】->【Next】->【Allow output folders for source folders】->【Finish】

    新建WordCount类

    添加/编写源代码:此代码是hadoop自带的,所以在hadoop安装目录下,如下图:(代码复制过来即可用)

    上传模拟数据文件夹:此过程请参考本博客 http://www.cnblogs.com/yangxiao99/p/4574889.html

    然后配置运行参数:

    在新建的项目WordCount,点击WordCount.java,右键-->Run As-->Run Configurations 

    点击Run,运行程序

    在此刻看到运行结果,如下图:

     

    完毕!!!

    以上是亲手所写,欢迎各位来探讨交流:QQ:747861092

    QQ群:163354117    (群名称:CodeForFuture) 

  • 相关阅读:
    微服务之初识微服务
    常见的认证机制及JSON WEB TOKEN
    深入理解缓存之缓存预热与淘汰策略
    深入理解缓存之缓存和数据库的一致性
    深入理解缓存之缓存存在的问题及应对措施
    深入理解缓存之常见的缓存算法
    计算机网络之HTTP、HTTPS、HTTP2
    计算机网络之TCP(三次握手、四次挥手等),UDP及DNS
    计算机网络之网络体系架构与IP
    深入理解MyBatis(四)--缓存
  • 原文地址:https://www.cnblogs.com/yangxiao99/p/4580418.html
Copyright © 2011-2022 走看看