Mapreduce实例——WordCount

实验步骤

1. 切换目录到/apps/hadoop/sbin下，启动hadoop。

 

cd /apps/hadoop/sbin  

./start-all.sh  

2.在linux上，创建一个目录/data/mapreduce1。

 

mkdir -p /data/mapreduce1  

3.切换到/data/mapreduce1目录下，自行建立文本文件buyer_favorite1。

依然在/data/mapreduce1目录下，使用wget命令，从

网络下载hadoop2lib.tar.gz，下载项目用到的依赖包。

将hadoop2lib.tar.gz解压到当前目录下。

 

 tar -xzvf hadoop2lib.tar.gz  

4.将linux本地/data/mapreduce1/buyer_favorite1，上传到HDFS上的/mymapreduce1/in目录下。若HDFS目录不存在，需提前创建。

1. hadoop fs -mkdir -p /mymapreduce1/in  
2. hadoop fs -put /data/mapreduce1/buyer_favorite1 /mymapreduce1/in  

5.打开Eclipse，新建Java Project项目。并将项目名设置为mapreduce1。

 

6.在项目名mapreduce1下，新建package包。并将包命名为mapreduce 。

 

7.在创建的包mapreduce下，新建类。并将类命名为WordCount。

 

8.添加项目所需依赖的jar包，右键单击项目名，新建一个目录hadoop2lib，用于存放项目所需的jar包。

 

9.添加代码

 

10.打开终端或使用hadoop eclipse插件，查看hdfs上，程序输出的实验结果。

 

hadoop fs -ls /mymapreduce1/out  

hadoop fs -cat /mymapreduce1/out/part-r-00000