zoukankan      html  css  js  c++  java
  • hadoop 读取文件操作

    1. Path hdfsPath = new Path(args[0]);  
    2. Configuration conf = new Configuration();  
    3. FileSystem fs = FileSystem.get(hdfsPath.toUri(),conf);   
    4. CompressionCodecFactory factory = new CompressionCodecFactory(conf);  
    5. CompressionCodec codec = factory.getCodec(hdfsPath);  
    6.   
    7. FSDataInputStream inputStream = fs.open(hdfsPath);  
    8. BufferedReader reader = null;  
    9.   
    10. try {  
    11.     if (codec == null) {  
    12.         reader = new BufferedReader(new InputStreamReader(inputStream));  
    13.     } else {  
    14.         CompressionInputStream comInputStream = codec.createInputStream(inputStream);  
    15.         reader = new BufferedReader(new InputStreamReader(comInputStream));  
    16.     }  
    17. catch (Exception e) {  
    18.     e.printStackTrace();  
    19. }  
  • 相关阅读:
    lamp
    ssh 交互脚本
    mysql 备份检测主从脚本
    RANDOM 猜数字脚本
    ansible+playbook 搭建lnmp环境
    集群搭建
    grafana
    nginx lnmp搭建
    shell 基础(1): 变量
    seq 增量输出命令
  • 原文地址:https://www.cnblogs.com/csxf/p/3860073.html
Copyright © 2011-2022 走看看