先启动Hadoop守护进程,进入hadoop安装目录,执行bin/start-all.sh
主要是为了之后能正确测试
Ubuntu中下载安装Eclipse,执行sudo apt-get install eclipse
一直等待下载自动安装,过程比较缓慢,给点耐心
在Eclipse下安装hadoop-eclipse-plugin(插件jar包已提供)。复制此插件jar包到eclipse安装目录/plugins/ 下。可通过whereiseclipse查看eclipse安装目录。
(如无意外是将该插件jar包放到 /usr/lib/eclipse/pubgins 目录下)
重启eclipse 安装插件成功。如果插件安装成功,【Window】 —> 【Preferences】,会发现 Hadoop Map/Reduce 选项
选择 Hadoop Map/Reduce 在右边点击Browse,选择 Hadoop安装目录。配置完成后退出。
配置Map/Reduce Localtions
打开Map/Reduce Localtions窗口
即可打开Map/Reduce Localtions窗口
右键点击空白处进行新建
location name:可随意填写,它表示一个Map/Reduce Localtions标识;
Map/Reduce Master 这个框里
Host:就是jobtracker 所在的集群机器,这里写localhost
Port:就是jobtracker 的port,这里写的是9001
这两个参数就是mapred-site.xml里面mapred.job.tracker里面的ip和port
DFS Master 这个框里
Host:就是namenode所在的集群机器,这里写localhost
Port:就是namenode的port,这里写9000
这两个参数就是core-site.xml里面fs.default.name里面的ip和port
(Use M/R master host,这个复选框如果选上,就默认和Map/Reduce Master这个框里的host一样,如果不选择,就可以自己定义输入,这里jobtracker 和namenode在一个机器上,所以是一样的,就勾选上)
user name:这个是连接hadoop的用户名,
选择Advanced Parameters进行设置
修改以下配置:
修改 hadoop.tmp.dir 使其与 core-site.xml 配置保持一直
保存,退出,如果显示可以文件夹书>=2即表明创建成功,如果成功会显示连接失败
配置:ssh的authorized_keys
eclipse中配置:
【Window】-》【Preferences】-》【General】-》
【Network Connections】-》【SSH2】-》【General】-》【SSH2 home】
配置存放authorized_keys的路径;
与配置中的保持一直;
配置 Hadoop 安装目录中 conf 中的 hdfs-site.xml,添加如下语句:
1、新建项目。
【File】-->【New】-->【Project】 -->【Map/Reduce Project】
项目名可以随便取,如maptest。选中maptest项目下的src,右键新建一个class类,名称定义为example,代码见example.java。
2、上传模拟数据文件夹。为了运行程序,需要一个输入的文件夹,和输出的文件夹。输出文件夹,在程序运行完成后会自动生成。
将文件testnew上传到分布式文件系统中。
3、运行项目。
(1).在新建的项目maptest,点击example.java,右键-->Run As-->RunConfigurations
(2).在弹出的RunConfigurations对话框中,点Java Application,右键-->New,这时会新建一个application名为example
(3).配置运行参数,点Arguments,在Programarguments中输入“要传给程序的输入文件和要求程序将计算结果保存的文件夹”,如:
4、点击Run,运行程序。点击Run,运行程序,过段时间将运行完成,等运行结束后,可以在终端中用命令验证是否成功。
如配置出了问题,重新更新配置,可能需要重启才能是新的配置生效。
参考:
http://f.dataguru.cn/thread-224817-1-1.html
http://blog.csdn.net/caoshichaocaoshichao/article/details/15493819
http://f.dataguru.cn/thread-168863-1-1.html
http://f.dataguru.cn/thread-234138-1-1.html