Hadoop集群测试wordcount程序

一.集群环境搭好了，我们来测试一下吧

　　1.在java下创建一个wordcount文件夹：mkdir wordcount

　　2.在此文件夹下创建两个文件，比如file1.txt和file2.txt

在file1.txt中写入：

Hello java

Hello world

在file2.txt中写入：

Hello hadoop

Hello wordcount

　　3.在HDFS中创建一个input文件夹

hadoop fs mkdir /input

hadoop fs -ls /

　　4.把刚刚写好的两个文件夹上传到HDFS中input文件夹

 hadoop fs -put ./*.txt /input/

hadoop fs -ls /input/

 

　　5.运行wordcount程序

去/usr/java/hadoop-2.8.5/share/hadoop/mapreduce文件下运行hadoop-mapreduce-examples-2.8.5.jar

命令：hadoop jar hadoop-mapreduce-examples-2.8.5.jar wordcount /input/ /output/

注：output文件夹是不存在的，使用上述命令后自动创建的。如果此文件夹存在会报错

　　6.之后查看此文件夹

hadoop fs -cat /output/*