Hadoop读取XML配置文件

 

原来我要实现的是最基本的将本地文件拷贝到HDFS上去，所以写了下面的程序：

package com.lcy.hadoop.file;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class CopyFromLocalFile {

    public static void main(String[] args) throws Exception{
        // TODO Auto-generated method stub
　　　　 Configuration conf=new Configuration();
        FileSystem fs=FileSystem.get(conf);
        Path src=new Path("/usr/local/hadoop-1.2.1/input/violence.txt");
        Path dst=new Path("hdfs://localhost:9000/user/hadoop/input/CopyFromLocalFile.txt");
        fs.copyFromLocalFile(src, dst);
        fs.close();
    }
}

但是上面这段程序只能把它打包成jar文件在terminal运行

 

对上述程序加以改进：

package com.lcy.hadoop.file;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class CopyFromLocalFile {

    public static void main(String[] args) throws Exception{
        // TODO Auto-generated method stub
        Configuration conf=new Configuration();
        conf.set("fs.default.name", "hdfs://localhost:9000"));
        FileSystem fs=FileSystem.get(conf);
        Path src=new Path("/usr/local/hadoop-1.2.1/input/violence.txt");
        Path dst=new Path("hdfs://localhost:9000/user/hadoop/input/CopyFromLocalFile.txt");
        fs.copyFromLocalFile(src, dst);
        fs.close();
    }
}

这样就可以直接在Eclipse本地运行了

 

在上面程序中

conf.set("fs.default.name", "hdfs://localhost:9000"));

这句代码中的参数是Hadoop配置文件conf/core-site.xml中的信息，是我打开配置文件查看然后再填写进去的，所以我需要直接读取配置文件的信息

关于Configuration:

Hadoop中的组件是通过Hadoop自己的配置API来实现的。一个Configuration类的实例代表配置属性及其取值的一个集合，每个属性由一个String来命名，而值的类型可以是多种类型之一

通过Configuration可以从使用简单结构定义的名-值对的XML文件中读取其属性值

Configuration conf=new Configuration();
conf.addResource(配置文件路径);
属性值=conf.get(属性)

上述程序最终修改为如下：

package com.lcy.hadoop.file;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class CopyFromLocalFile {

    public static void main(String[] args) throws Exception{
        // TODO Auto-generated method stub
        Configuration conf=new Configuration();
        Path path=new Path("/usr/local/hadoop-1.2.1/conf/core-site.xml");
        conf.addResource(path);
        conf.set("fs.default.name", conf.get("fs.default.name"));
　　　　 System.out.println("fs.default.name:"+conf.get("fs.default.name"));
        FileSystem fs=FileSystem.get(conf);
        Path src=new Path("/usr/local/hadoop-1.2.1/input/violence.txt");
        Path dst=new Path("hdfs://localhost:9000/user/hadoop/input/CopyFromLocalFile.txt");
        fs.copyFromLocalFile(src, dst);
        fs.close();
    }
}