zoukankan      html  css  js  c++  java
  • 一个mapreduce同时加载读取多个文件的代码部分

    方法一:

      a.第一步:在job中加载两个文件所在的位置

             FileInputFormat.setInputPaths(job, new Path[] { new Path("hdfs://192.168.9.13:8020/gradeMarking"),
          new Path("hdfs://192.168.9.13:8020/implyCount") });

      b.第二步:在Mapper类中重写setup方法,使用context对象获取该文件所在的文件名(如果是经过处理后的数据文件,因为文件名一样part-r-00000,所以要获取其所在的文件夹名)
            @Override
        protected void setup(Mapper<Text, Text, Text, Text>.Context context) throws IOException, InterruptedException {
        FileSplit fs = (FileSplit) context.getInputSplit();
        parentName = fs.getPath().getParent().getName();
        }

    方法二:

      a.第一步:在job中将文件加载到本地

        job.addCacheFile(new URI("hdfs://192.168.9.13:8020/meanwhileFind(同现)_data/part-r-00000"));
      b.第二步:在Mapper函数中重写setup函数,用字符缓冲流进行读取
       

     1 @Override
     2         protected void setup(Mapper<LongWritable, Text, Text, Sort>.Context context)
     3                 throws IOException, InterruptedException {
     4             @SuppressWarnings("resource")
     5             BufferedReader br = new BufferedReader(new FileReader("part-r-00000"));
     6             String str = null;
     7             while ((str = br.readLine()) != null) {
     8                 String[] datas = str.split("	");
     9                 String[] sp = datas[0].split("-");
    10                 if (!map.containsKey(sp[0])) {
    11                     HashMap<String, Double> mapInner = new HashMap<>();
    12                     mapInner.put(sp[1], Double.parseDouble(datas[1]));
    13                     map.put(sp[0], mapInner);
    14                 } else {
    15                     @SuppressWarnings("rawtypes")
    16                     HashMap mapInner = map.get(sp[0]);
    17                     mapInner.put(sp[1], Double.parseDouble(datas[1]));
    18                 }
    19             }
    20         }
  • 相关阅读:
    PIE SDK 基于Dot net bar实现比例尺控件
    PIE SDK 监督分类对话框类(SupervisedClassificaitonDialog)使用经验
    图层树右键菜单结合Command操作过程
    PIE 插件式开发小笔记__PIESDK学习体会
    [转]sqlserver收缩文件没效果的解决办法
    efcore 输出显示sql语句
    Linux 常见的进程调度算法
    Linux 配置 vimrc
    排序 选择排序&&堆排序
    C/C++ 内存管理 (《高质量C++》-- 整理笔记)
  • 原文地址:https://www.cnblogs.com/le-ping/p/7788935.html
Copyright © 2011-2022 走看看