zoukankan      html  css  js  c++  java
  • 每天收获一点点------Hadoop Eclipse插件的使用

    本文所用软件版本:myeclipe2014    hadoop1.2.1

    1、安装Hadoop开发插件

        下载hadoop-eclipse-plugin-1.2.1.jar,拷贝到myeclipse根目录下/dropins目录下。

    2、 启动myeclipse,打开Perspective:

    【Window】->【Open Perspective】->【Other...】->【Map/Reduce】->【OK】

    3、 打开一个View:

    【Window】->【Show View】->【Other...】->【MapReduce Tools】->【Map/Reduce Locations】->【OK】

    4、 添加Hadoop location:

    此处添加自己的hadoop安装路径。

    5、new Hadoop location

    修改其中内容:

    Map/Reduce Master 这个框里:这两个参数就是mapred-site.xml里面mapred.job.tracker里面的ip和port  

    DFS Master 这个框里:这两个参数就是core-site.xml里面fs.default.name里面的ip和port

     user name:这个是连接hadoop的用户名

    因为我是用root户安装的hadoop,而且没建立其他的用户,所以用root。下面的不用填写。
    然后点击finish按钮,此时,这个视图中就有多了一条记录。

    修改后:

    重启myeclipse并重新编辑刚才建立的那个连接记录,现在我们编辑advance parameters tab页

    此页只需修改,其中箭头所示处,后面填core-site.xml里所对应的路径即可。

    然后点击finish,然后就连接上了(先要启动sshd服务,启动hadoop进程),连接上的标志如图:

    6、再跑wordcount例子

    新建Map/Reduce Project:

    【File】->【New】->【Project...】->【Map/Reduce】->【Map/Reduce Project】->【Project name: WordCount】->【Configure Hadoop install directory...】->【Hadoop installation directory: usr/local/hadoop/hadoop-1.2.1】->【Apply】->【OK】->【Next】->【Allow output folders for source folders】->【Finish】

    新建WordCount类

    添加/编写源代码:此代码是hadoop自带的,所以在hadoop安装目录下,如下图:(代码复制过来即可用)

    上传模拟数据文件夹:此过程请参考本博客 http://www.cnblogs.com/yangxiao99/p/4574889.html

    然后配置运行参数:

    在新建的项目WordCount,点击WordCount.java,右键-->Run As-->Run Configurations 

    点击Run,运行程序

    在此刻看到运行结果,如下图:

     

    完毕!!!

    以上是亲手所写,欢迎各位来探讨交流:QQ:747861092

    QQ群:163354117    (群名称:CodeForFuture) 

  • 相关阅读:
    Swift3 重写一个带占位符的textView
    Swift3 使用系统UIAlertView方法做吐司效果
    Swift3 页面顶部实现拉伸效果代码
    Swift3 倒计时按钮扩展
    iOS 获取当前对象所在的VC
    SpringBoot在IDEA下使用JPA
    hibernate 异常a different object with the same identifier value was already associated with the session
    SpringCloud IDEA 教学 番外篇 后台运行Eureka服务注册中心
    SpringCloud IDEA 教学 (五) 断路器控制台(HystrixDashboard)
    SpringCloud IDEA 教学 (四) 断路器(Hystrix)
  • 原文地址:https://www.cnblogs.com/yangxiao99/p/4580418.html
Copyright © 2011-2022 走看看