Hadoop学习笔记（三）：java操作Hadoop

1. 启动hadoop服务。

2. hadoop默认将数据存储带/tmp目录下，如下图：

    由于/tmp是linux的临时目录，linux会不定时的对该目录进行清除，因此hadoop可能就会出现意外情况。下面对这个配置进行修改。修改core-site.xml文件vim /usr/local/hadoop/etc/hadoop/core-site.xml将这个值修改到/var/hadoop目录下

3. 修改完毕后，重启hadoop服务（stop-dfs.sh、start-dfs.sh），然后重新格式化namenode

    hdfs namenode -format

4. 使用java来操作hdfs

5. 新建java项目，导入如下几个包：

    a). hadoop安装目录下share/hadoop/common下的common包

    

    b). hadoop安装目录下share/hadoop/common/lib下的所有包

    

    c). hadoop安装目录下share/hadoop/hdfs下的hdfs包

    

6. 新建java类HelloHDFS.java，测试java程序读取hadoop当中存储的文件。现在我的hadoop集群根目录当中有一个Hello.java文件，下面用java程序来读取它。

import java.io.InputStream;
import java.net.URL;
import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;
import org.apache.hadoop.io.IOUtils;

public class HelloHDFS {
    public static void main(String[] args) throws Exception {
        // 设置URL流处理器工厂，即URL按照什么协议进行处理，默认的是HTTP协议的处理工厂
        URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory()); 
        URL url = new URL("hdfs://192.168.17.100:9000/Hello.java");
        InputStream is = url.openStream();
        IOUtils.copyBytes(is, System.out, 4096, true); 
　　　　 // 4096表示缓冲区的大小，true表示执行完毕后系统会自动关闭流
    }
}

7. 运行上述程序，观察结果，发现已经读取到了hadoop当中存储文件。

8. 上述为方式一，下面介绍一种更好用的方式。

// 方式二：
Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://192.168.17.100:9000");
FileSystem fs = FileSystem.get(conf);
boolean success = fs.mkdirs(new Path("/skyer"));
System.out.println(success);

    上述代码为在hadoop根目录下创建一个skyer目录（如果原来就有该目录，会覆盖），并打印创建结果，结果为true。若出现下图错误：

    

    在core-site.xml文件中将dfs.permissions.enabled配置为false，或者输入以下命令hadoop fs -chmod 777 /修改hadoop根目录的权限（危险，不推荐），还有一个方法是在windows机器上配置一个环境变量HADOOP-USER_NAME，还有一种方法是将

    FileSystem fs = FileSystem.get(conf);

    替换成

    FileSystem fs = FileSystem.get(new URI("hdfs://192.168.17.100:9000"),conf,"root");

9. 其他操作hadoop的示例，直接看代码：

public class HelloHDFS {
    public static void main(String[] args) throws Exception {
        // 方式二：
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS", "hdfs://192.168.17.100:9000");
        FileSystem fs = FileSystem.get(conf);
        boolean success = fs.mkdirs(new Path("/skyer")); // 创建目录
        System.out.println(success);
        success = fs.exists(new Path("/skyer")); // 判断文件或者目录是否存在
        System.out.println(success);

        success = fs.delete(new Path("/skyer"), true);
        // 删除，第二个参数为true的话会真正的删除文件，为false的话是将该文件放到垃圾桶里
        System.out.println(success);

        // 上传文件到hadoop
        FSDataOutputStream out = fs.create(new Path("/upload.data"), true);
        FileInputStream fis = new FileInputStream("E://HelloHDFS.java");
        IOUtils.copyBytes(fis, out, 4096, true);

        // 列取目录下所有文件和目录的信息
        FileStatus[] statuses = fs.listStatus(new Path("/"));
        for (FileStatus status : statuses) {
            System.out.println(status.getPath());
            System.out.println(status.getPermission());
            System.out.println(status.getReplication());
        }
    }
}

10. 在master机器上输入命令hadoop fs -text /upload.data进行查看示例中上传的文件，类似linux里的cat命令