zoukankan      html  css  js  c++  java
  • 运行一个Hadoop Job所需要指定的属性


    1、设置job的基础属性
    Job job = new Job();
    job.setJarByClass(***.class);
    job.setJobName(“job name”);
    job.setNumReduce(2);

    2、设置Map与Reudce的类
    job.setMappgerClass(*.class);
    job.setReduceClass(*.class);

    3、设置Job的输入输出格式

     void    setInputFormatClass(Class<? extends InputFormat> cls)
    
     void    setOutputFormatClass(Class<? extends OutputFormat> cls) 

    前者默认是TextInputFormat,后者是FileOutputFormat。


    4、设置Job的输入输出路径
    当输入输出是文件时,需要指定路径。

    InputFormat:
    static void    addInputPath(JobConf conf, Path path)
    
    FileOutputFormat:
    static void    setOutputPath(Job job, Path outputDir) 
    
    当输入格式是其它类型时,则需要指定相应的属性,如Gora的DataSource。


    5、设置map与reduce的输出键值类型
    主要有以下4个类
     void    setOutputKeyClass(Class<?> theClass)
    
     void    setOutputValueClass(Class<?> theClass)
    
     void    setMapOutputKeyClass(Class<?> theClass)
    
     void    setMapOutputValueClass(Class<?> theClass) 


    (1)前面2个方法设置整个job的输出,即reduce的输出。默认情况下,map的输出类型与reduce一致,若二者不一致,则需要通过后面2个方法来指定map的输出类型。
    (2)关于输入类型的说明:reduce的输入类型由output的输出类型决定。map的输入类型由输入格式决定,如输入格式是FileInputFormat,则输入KV类型为LongWriterable与Text。



    6、运行程序

    job.waitForCompletion()。


    见以下示例:

    package org.jediael.hadoopdemo.maxtemperature;
    
    import org.apache.hadoop.fs.Path;
    import org.apache.hadoop.io.IntWritable;
    import org.apache.hadoop.io.Text;
    import org.apache.hadoop.mapreduce.Job;
    import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
    import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
    
    public class MaxTemperature {
    	public static void main(String[] args) throws Exception {
    		if (args.length != 2) {
    			System.err
    					.println("Usage: MaxTemperature <input path> <output path>");
    			System.exit(-1);
    		}
    		//1、设置job的基础属性
    		Job job = new Job();
    		job.setJarByClass(MaxTemperature.class);
    		job.setJobName("Max temperature");
    
    		//2、设置Map与Reudce的类
    		job.setMapperClass(MaxTemperatureMapper.class);
    		job.setReducerClass(MaxTemperatureReducer.class);
    		
    		//4、设置map与reduce的输出键值类型
    		job.setOutputKeyClass(Text.class);
    		job.setOutputValueClass(IntWritable.class);
    		
    		//5、设置输入输出路径
    		FileInputFormat.addInputPath(job, new Path(args[0]));
    		FileOutputFormat.setOutputPath(job, new Path(args[1]));
    		
    		//6、运行程序
    		System.exit(job.waitForCompletion(true) ? 0 : 1);
    	}
    }
    




  • 相关阅读:
    选择下拉列表,出现不同数据,并计算
    获取td中的数据,保留两位小数重新赋值
    登录注册验证插件
    JS中的call、apply、bind方法详解
    超多经典 canvas 实例,动态离子背景、移动炫彩小球、贪吃蛇、坦克大战、是男人就下100层、心形文字等等等
    js实现冒泡排序
    C# 平方、开方、保留小数 运算
    T4模板循环生成插入语句
    JS数字金额转为大写金额
    Authentication method 'caching_sha2_password' not supported by any of the available plugins.
  • 原文地址:https://www.cnblogs.com/eaglegeek/p/4557832.html
Copyright © 2011-2022 走看看