读取hdfs文件系统里的文件

hadoop的文件系统在程序代码里面用起来就如我们本地的文件系统一样，可以从里面读取文件，存入文件，等等。

下面我们来演示一个从hdfs中的一个目录里，读取这个目录下所有文件的文件名的程序。

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import org.apache.hadoop.mapreduce.lib.input.FileSplit;
import org.junit.Test;

import java.io.IOException;
import java.net.URI;

/**
 * Created with IntelliJ IDEA.
 * User: Isaac Li
 * Date: 12/11/12
 * Time: 9:42 AM
 * To change this template use File | Settings | File Templates.
 */
public class WordCountTest {
    @Test
    public void test(){
        Configuration conf = new Configuration();
        try {
            //创建一个文件系统实例
            FileSystem hdfs = FileSystem.get(URI.create("hdfs://10.40.30.173:9000/user/root/input"), conf);
            //文件状态
            FileStatus[] inputFiles = hdfs.listStatus(new Path("hdfs://10.40.30.173:9000/user/root/input"));
            //输出文件名
            for(int i = 0; i < inputFiles.length; i++){
                System.out.println(inputFiles[i].getPath().getName());
        }
        }catch(IOException e){
            e.printStackTrace();
        }
    }
}

代码重现步骤：

1. 安装hadoop的相关jar包

2. 将此段代码复制到你的eclipse或者其他IDE

3. 将代码中hdfs的URI，改成你的hdfs的URI

4. 运行代码，即可输出你指定的hdfs的文件夹下的所有文件