zoukankan      html  css  js  c++  java
  • MapReduce概述

    1MapReduce概述

    1.1 MapReduce定义

    1.2 MapReduce优缺点

    1.2.1 优点

    1.2.2 缺点

    1.3 MapReduce核心思想

    MapReduce核心编程思想,如图所示。

    1)分布式的运算程序往往需要分成至少2个阶段。

    2)第一个阶段的MapTask并发实例,完全并行运行,互不相干。

    3)第二个阶段的ReduceTask并发实例互不相干,但是他们的数据依赖于上一个阶段的所有MapTask并发实例的输出。

    4)MapReduce编程模型只能包含一个Map阶段和一个Reduce阶段,如果用户的业务逻辑非常复杂,那就只能多个MapReduce程序,串行运行。

    总结分析WordCount数据流走向深入理解MapReduce核心思想。

    1.4 MapReduce进程

    1.5 官方WordCount源码

    采用反编译工具反编译源码,发现WordCount案例有Map类、Reduce类和驱动类。数据的类型是Hadoop自身封装的序列化类型

    1.6 常用数据序列化类型

    常用的数据类型对应的Hadoop数据序列化类型

    Java类型

    Hadoop Writable类型

    boolean

    BooleanWritable

    byte

    ByteWritable

    int

    IntWritable

    float

    FloatWritable

    long

    LongWritable

    double

    DoubleWritable

    String

    Text

    map

    MapWritable

    array

    ArrayWritable

    1.7 MapReduce编程规范

    用户编写的程序分成三个部分:MapperReducerDriver

    1.8 WordCount案例实操

    1.需求

    在给定的文本文件中统计输出每一个单词出现的总次数

    1)输入数据

    atguigu atguigu
    ss ss
    cls cls
    jiao
    banzhang
    xue
    hadoop

    2)期望输出数据

    atguigu 2
    banzhang 1
    cls 2
    hadoop 1
    jiao 1
    ss 2
    xue 1

    2.需求分析

    按照MapReduce编程规范,分别编写MapperReducerDriver,如图所示。

    3.环境准备

    1)创建maven工程

     

    2)在pom.xml文件添加如下依赖

    <dependencies>
            <dependency>
                <groupId>junit</groupId>
                <artifactId>junit</artifactId>
                <version>RELEASE</version>
            </dependency>
            <dependency>
                <groupId>org.apache.logging.log4j</groupId>
                <artifactId>log4j-core</artifactId>
                <version>2.8.2</version>
            </dependency>
            <dependency>
                <groupId>org.apache.hadoop</groupId>
                <artifactId>hadoop-common</artifactId>
                <version>2.7.2</version>
            </dependency>
            <dependency>
                <groupId>org.apache.hadoop</groupId>
                <artifactId>hadoop-client</artifactId>
                <version>2.7.2</version>
            </dependency>
            <dependency>
                <groupId>org.apache.hadoop</groupId>
                <artifactId>hadoop-hdfs</artifactId>
                <version>2.7.2</version>
            </dependency>
    </dependencies>

    2)在项目的src/main/resources目录下,新建一个文件,命名为“log4j.properties”,在文件中填入。

    log4j.rootLogger=INFO, stdout
    log4j.appender.stdout=org.apache.log4j.ConsoleAppender
    log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
    log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
    log4j.appender.logfile=org.apache.log4j.FileAppender
    log4j.appender.logfile.File=target/spring.log
    log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
    log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

    4.编写程序

    1)编写Mapper

    package com.atguigu.mapreduce;
    import java.io.IOException;
    import org.apache.hadoop.io.IntWritable;
    import org.apache.hadoop.io.LongWritable;
    import org.apache.hadoop.io.Text;
    import org.apache.hadoop.mapreduce.Mapper;
    
    public class WordcountMapper extends Mapper<LongWritable, Text, Text, IntWritable>{
        
        Text k = new Text();
        IntWritable v = new IntWritable(1);
        
        @Override
        protected void map(LongWritable key, Text value, Context context)    throws IOException, InterruptedException {
            
            // 1 获取一行
            String line = value.toString();
            
            // 2 切割
            String[] words = line.split(" ");
            
            // 3 输出
            for (String word : words) {
                
                k.set(word);
                context.write(k, v);
            }
        }
    }

    2)编写Reducer

    package com.atguigu.mapreduce.wordcount;
    import java.io.IOException;
    import org.apache.hadoop.io.IntWritable;
    import org.apache.hadoop.io.Text;
    import org.apache.hadoop.mapreduce.Reducer;
    
    public class WordcountReducer extends Reducer<Text, IntWritable, Text, IntWritable>{
    
    int sum;
    IntWritable v = new IntWritable();
    
        @Override
        protected void reduce(Text key, Iterable<IntWritable> values,Context context) throws IOException, InterruptedException {
            
            // 1 累加求和
            sum = 0;
            for (IntWritable count : values) {
                sum += count.get();
            }
            
            // 2 输出
           v.set(sum);
            context.write(key,v);
        }
    }

    3)编写Driver驱动类

    package com.atguigu.mapreduce.wordcount;
    import java.io.IOException;
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.Path;
    import org.apache.hadoop.io.IntWritable;
    import org.apache.hadoop.io.Text;
    import org.apache.hadoop.mapreduce.Job;
    import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
    import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
    
    public class WordcountDriver {
    
        public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
    
            // 1 获取配置信息以及封装任务
            Configuration configuration = new Configuration();
            Job job = Job.getInstance(configuration);
    
            // 2 设置jar加载路径
            job.setJarByClass(WordcountDriver.class);
    
            // 3 设置map和reduce类
            job.setMapperClass(WordcountMapper.class);
            job.setReducerClass(WordcountReducer.class);
    
            // 4 设置map输出
            job.setMapOutputKeyClass(Text.class);
            job.setMapOutputValueClass(IntWritable.class);
    
            // 5 设置最终输出kv类型
            job.setOutputKeyClass(Text.class);
            job.setOutputValueClass(IntWritable.class);
            
            // 6 设置输入和输出路径
            FileInputFormat.setInputPaths(job, new Path(args[0]));
            FileOutputFormat.setOutputPath(job, new Path(args[1]));
    
            // 7 提交
            boolean result = job.waitForCompletion(true);
    
            System.exit(result ? 0 : 1);
        }
    }

    5.本地测试

      (1)如果电脑系统是win7的将win7的hadoop jar解压到非中文路径,并在Windows环境上配置HADOOP_HOME环境变量如果是电脑win10操作系统就解压win10的hadoop jar并配置HADOOP_HOME环境变量

      注意win8电脑win10家庭版操作系统可能有问题,需要重新编译源码或者更改操作系统。

      

      (2)在Eclipse/Idea上运行程序

       

    6.集群上测试

    0)用maven打jar需要添加的打包插件依赖

    注意标记红颜色的部分需要替换为自己工程主类

    <build>
            <plugins>
                <plugin>
                    <artifactId>maven-compiler-plugin</artifactId>
                    <version>2.3.2</version>
                    <configuration>
                        <source>1.8</source>
                        <target>1.8</target>
                    </configuration>
                </plugin>
                <plugin>
                    <artifactId>maven-assembly-plugin </artifactId>
                    <configuration>
                        <descriptorRefs>
                            <descriptorRef>jar-with-dependencies</descriptorRef>
                        </descriptorRefs>
                        <archive>
                            <manifest>
                                <mainClass>com.atguigu.mr.WordcountDriver</mainClass>
                            </manifest>
                        </archive>
                    </configuration>
                    <executions>
                        <execution>
                            <id>make-assembly</id>
                            <phase>package</phase>
                            <goals>
                                <goal>single</goal>
                            </goals>
                        </execution>
                    </executions>
                </plugin>
            </plugins>
        </build>

    注意:如果工程上显示红叉。项目上右键->maven->update project即可。

    1)将程序打成jar包,然后拷贝到Hadoop集群中

    步骤详情右键->Run as->maven install。等待编译完成就会在项目target文件夹中生成jar如果不到。在项目上右键-Refresh即可看到。修改不带依赖的jar包名称为wc.jar,并拷贝该jar包到Hadoop集群。

    2)启动Hadoop集群

    3)执行WordCount程序

    [atguigu@hadoop102 software]$ hadoop jar  wc.jar
     com.atguigu.wordcount.WordcountDriver /user/atguigu/input /user/atguigu/output
  • 相关阅读:
    js之iframe子页面与父页面通信
    PHP安全编程:HTTP请求欺骗
    PHP安全编程:防止SQL注入
    PHP多种序列化/反序列化的方法
    empty(),isset()与is_null()的实例测试
    &nbsp|&quot|&amp|&lt|&gt等html字符转义
    手把手叫你SQL注入攻防(PHP语法)
    HTTP协议详解
    Cache缓存机制与文件缓存原理PHP2
    数据变成了真正的生产资料,而且是人类第一次没有依赖大自然,单纯依靠自身行为获得的生产资料。
  • 原文地址:https://www.cnblogs.com/Diyo/p/11374849.html
Copyright © 2011-2022 走看看