Hadoop应用测试_Just Do it!_百度空间

Hadoop应用测试_Just Do it!_百度空间

Hadoop应用测试

2009年07月16日 星期四 13:18

Hadoop部署完成后，进行示例测试。hadoop-0.18.3目录下包含了hadoop-0.18.3-examples.jar，里面包含很多示例。下面测试一下最著名的wordcount。

开启HDFS，如下：

$ cd /home/howard/hadoop-0.18.3

$ bin/hadoop/start-dfs.sh

在本地目录建立input目录，并在其中新建file01.txt和file02.txt。编辑这两个txt，分别写入：Hello Hadoop Goodbye Hadoop、Hello World Bye World。然后把本地的这个目录拷贝到HDFS中，我在这个地方犯了错误，以为本地的已经就在HDFS中了，导致拷贝时找不到目录。

$ bin/hadoop dfs -copyFromLocal /home/howard/input input     //前面的路径是本地input目录，后面的input表示 存放在HDFS中

接下来，就可以执行wordcount了。要运行jar必须开启服务，

$bin/start-all.sh

$bin/hadoop jar hadoop-0.18.3-examples.jar wordcount input output   //运行wordcount，结果存放在output目录中

下面就可以查看输出结果，

$ bin/hadoop dfs -cat output/part-00000 结果如下：

Bye         1

Goodbye 1

Hadoop   2

Hello        2

World     2

这是一个典型的MapReduce示例。

另外，如果在HDFS中有不需要的目录(里面包含文件)，可以使用下面的命令删除。

$ bin/hadoop dfs -rmr /user/howard/output

如果是空目录，则用$ bin/hadoop dfs -rm /user/howard/output