zoukankan      html  css  js  c++  java
  • hadoop 集群搭建与mapreduce开发实战(二)

    hadoop eclipse 插件安装与运行mapreduce程序

    插件下载:

    链接:http://pan.baidu.com/s/1pLwK6IB 密码:p29q

    一:插件安装

    下载插件并放到eclipse的plugins目录,并重新启动eclipse。

    重启eclipse:

    配置hadoop连接:

    windows->OpenPespective

    第一个端口默认50020,第二个8020 是根据core-site.xml中的配置来的:

    这个端口如果没有配置正确,在插件中会提示连接不上。

    连接上之后的效果如下:

    到此,算是配置好插件与hadoop连接,可以显示并上传文件到hadoop上。接下来,将编写mapreduce程序,在hadoop行运行。

    二:开发实战

    创建一个mvn项目,调试wordcount程序。

    eclipse的调试配置如下:

    当时还是会报错,远程调试,还是没有配好:

    没办法,只能先打成jar包,拷贝到hadoop的master上,通过命令执行。

    执行命令如下:

    hadoop jar /root/HadoopTest/hadooptest-1.0.jar com.hadoop.maxtemperature.MaxTemperature /data/temperature /output/temperature

    参数解析:
    命令 : hadoop
    参数1: jar // 执行的文件类型
    参数2: /root/HadoopTest/hadooptest-1.0.jar // 待执行文件位置
    参数3: com.hadoop.maxtemperature.MaxTemperature // main函数所在类的类名称,注意写完整包路径
    参数4: /data/temperature // 输入参数的目录,执行该目录下的所有文件
    参数5: /output/temperature // 输出文件的目录

    hadoop 常用命令:

    1.查看目录

    hadoop fs -ls /

    2. 查看文件

    hadoop fs -text /data/a

    3.删除文件

    hadoop fs -rm /data/a

    4.删除目录 

    hadoop fs -rm -r /data/wordcount

  • 相关阅读:
    Jenkins的安装及使用(一)
    使用 scm-manager 搭建 git/svn 代码管理仓库(二)
    使用 scm-manager 搭建 git/svn 代码管理仓库(一)
    异步处理程序
    观察者模式之烧开水
    Java初转型-SSM配置文件
    Java初转型-Tomcat安装和配置
    Java初转型-MavenWEB项目搭建
    安装 vs2005, vs2008 报错
    SQL Server 数据库邮件 配置
  • 原文地址:https://www.cnblogs.com/spplus/p/6610087.html
Copyright © 2011-2022 走看看