zoukankan      html  css  js  c++  java
  • 向HDFS中追加内容

    向生成好的hdfs文件中追加内容,但是线上使用的版本是1.0.3,查看官方文档发现,在1.0.4版本以后才支持文件append
    以下是向hdfs中追加信息的操作方法
    如果你只在某一个driver中追加内容信息,不必要对于整个HDFS都开启内容追加:
    在某个方法中,追加文件信息:

    private void combinerMid(Path input,Path output,Configuration conf){
                FileSystem hdfs = null;
                conf.setBoolean("dfs.support.append", true);
                try{
                    hdfs = FileSystem.get(conf);
                    FSDataInputStream in = hdfs.open(input);
                    FSDataOutputStream out = hdfs.append(output);
                    IOUtils.copyBytes(in,out,4096,true);
                }catch (IOException e){
                    e.printStackTrace();
                }
            }private void combinerMid(Path input,Path output,Configuration conf){
                FileSystem hdfs = null;
                conf.setBoolean("dfs.support.append", true);
                try{
                    hdfs = FileSystem.get(conf);
                    FSDataInputStream in = hdfs.open(input);
                    FSDataOutputStream out = hdfs.append(output);
                    IOUtils.copyBytes(in,out,4096,true);
                }catch (IOException e){
                    e.printStackTrace();
                }
            }
    


    使用以上方法,便可以向output文件中追加input中的文件内容


    如果需要开启对于整个HDFS的文件追加内容权限需要在
    hdfs-site.xml中增加以下配置

    <property>
        <name>dfs.support.append</name>
        <value>true</value>
    </property>
    
  • 相关阅读:
    【zzuli-2276】跳一跳
    哈夫曼编码
    【zzuli-2266】number(二进制处理)
    【51nod-1042】数字0-9的数量
    【51nod-1009】数字1的数量
    数据库第八次实验
    【zzuli-1923】表达式求值
    vue组件父子组件传递引用类型数据
    JS中的call()方法和apply()方法用法总结
    Object.assign()与深拷贝(一)
  • 原文地址:https://www.cnblogs.com/zhoujingyu/p/5316115.html
Copyright © 2011-2022 走看看