zoukankan      html  css  js  c++  java
  • HDFS 小文件处理——应用程序实现

      在真实环境中,处理日志的时候,会有很多小的碎文件,但是文件总量又是很大。普通的应用程序用来处理已经很麻烦了,或者说处理不了,这个时候需要对小文件进行一些特殊的处理——合并。

      在这通过编写java应用程序实现文件的合并并上传到HDFS。整体的处理思路是,从本地加载琐碎的小文件并写到HDFS中。

    package study.smallfile.javaapp;
    
    import java.io.File;
    import java.io.FileInputStream;
    import java.io.IOException;
    import java.io.InputStreamReader;
    import java.util.List;
    
    import org.apache.commons.io.IOUtils;
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.FSDataOutputStream;
    import org.apache.hadoop.fs.FileSystem;
    import org.apache.hadoop.fs.Path;
    
    public class AppDemo {
        private static final String OUT_PATH = "hdfs://cluster1/smallfile/combined/app";
        private static final String LOCAL_PATH = "/root/logs";
    
        public void CombinedLocalFile() {
            FSDataOutputStream out = null;
            InputStreamReader reader = null;
            try {
                Configuration conf = new Configuration();
                Path local = new Path(OUT_PATH);
                out = FileSystem.get(conf).create(local);
    
                File dir = new File(LOCAL_PATH);
                for (File file : dir.listFiles()) {
                    reader = new InputStreamReader(new FileInputStream(file),
                            "UTF-8");
                    List<String> readLines = IOUtils.readLines(reader);
                    for (String line : readLines) {
    
                        out.write(line.getBytes());
                        out.write("
    ".getBytes());
                    }
                }
    
                System.out.println("合并成功");
            } catch (Exception e) {
                e.printStackTrace();
    
            } finally {
                try {
                    if (out != null)
                        out.close();
                    if (reader != null)
                        reader.close();
                } catch (IOException e) {
                    // TODO Auto-generated catch block
                    e.printStackTrace();
                }
            }
        }
    }
    View Code

    这个方法有个缺点:

      1、从代码实现可以看出,是对小文件先完全加载到内存中,然后进行单行处理,写入HDFS。如果某个小文件过大,会占用大量的内存,影响本机的其他应用正常运行。

      2、这种方法传到HDFS的时候,文件是未压缩的

  • 相关阅读:
    java poi 从服务器下载模板写入数据再导出
    一个华为面试题
    ForEach 循环
    fmt标签格式化数字和时间
    Ichars制作数据统计图
    jQuery中的事件
    oracle学习第四天
    GET请求和POST请求
    Jsp的九个隐含对象
    Oracle学习【语句查询】
  • 原文地址:https://www.cnblogs.com/hpuCode/p/5299129.html
Copyright © 2011-2022 走看看