zoukankan      html  css  js  c++  java
  • hadoop多文件输出

    现实环境中,常常遇到一个问题就是想使用多个Reduce,但是迫于setup和cleanup在每一个Reduce中会调用一次,只能设置一个Reduce,无法是实现负载均衡。

    问题,如果要在reduce中输出两种文件,一种是标志,另一种是正常业务数据,实现方案有三种:

    (1)设置一个reduce,在reduce中将数据封装到一个集合中,在cleanup中将数据写入到hdfs中,但是如果数据量巨大,一个reduce无法充分利用资源,实现负载均衡,但是如果数据量较小,可以使用

    (2)设置多文件输出,使用MultipleOutputs类

    具体见代码:

    1. private MultipleOutputs mos;   
    2.   
    3. @Override   
    4. protected void setup(Context context)   
    5. throws IOException, InterruptedException {   
    6.   mos=new MultipleOutputs(context);  
    7. }   
    8. @Override   
    9. protected void reduce(Text key, Iterable<Text> values, Context context)   
    10. throws IOException, InterruptedException {   
    11.   
    12. String key1=key.toString();   
    13. for(Text t:values){   
    14.    if(key1.equals("a")){   
    15.    mos.write("a", key,t);   
    16.    } else if(key1.equals("b")){   
    17.    mos.write("b", key,t);      
    18.    } else if(key1.equals("c")){   
    19.    mos.write("c", key,t);   
    20.      
    21.    }   
    22.  }   
    23. }   
    24. @Override   
    25. protected void cleanup(   
    26. Context context)   
    27. throws IOException, InterruptedException {   
    28. mos.close();  
    29. }   
    1. main方法中配置  
    1. <pre name="code" class="java">MultipleOutputs.addNamedOutput(job, "a", TextOutputFormat.class, Text.class, Text.class);  
    2. MultipleOutputs.addNamedOutput(job, "b", TextOutputFormat.class, Text.class, Text.class);  
    3. MultipleOutputs.addNamedOutput(job, "c", TextOutputFormat.class, Text.class, Text.class);  


    1. 结果文件为  a-r-0000,b-r-0000,c-r-0000,part-r-0000  

    (3)第三种方案是自己实现多文件输出 详见http://blog.csdn.net/qingmu0803/article/details/39665407

  • 相关阅读:
    JAVA中的浅拷贝与深拷贝
    Spring异步-@Async注解
    Spring 事务传播行为的使用
    DecimalFormat的使用
    Java编码问题原因以及解决
    Spring
    [TimLinux] docker CentOS7 入门——容器(1)
    [TimLinux] asciinema Linux终端录制工具嵌入私有web中
    [TimLinux] docker CentOS7安装docker-ce最新版
    [TimLinux] systemd 精通CentOS7系统启动systemd
  • 原文地址:https://www.cnblogs.com/zhoujingyu/p/5316070.html
Copyright © 2011-2022 走看看