zoukankan      html  css  js  c++  java
  • spark 应用场景2-身高统计

    原文引自:http://blog.csdn.net/fengzhimohan/article/details/78564610

    a. 案例描述

    本案例假设我们需要对某个省的人口 (10万) 性别还有身高进行统计,需要计算出男女人数,男性中的最高和最低身高,以及女性中的最高和最低身高。本案例中用到的源文件有以下格式, 三列分别是 ID,性别,身高 (cm),格式如下: 

    b.人口数据的生成

    利用Java语言随机生成一组人口数据,包括序列ID,性别M/F,身高cm,代码如下:

     1 import java.io.File;
     2 import java.io.FileWriter;
     3 import java.io.IOException;
     4 import java.util.Random;
     5 
     6 /**
     7  * Created by Administrator on 2017/11/13.
     8  */
     9 public class PeopleInfoFileGenerator {
    10     public static void main(String[] args){
    11         File file = new File("F:\PeopleInfo.txt");
    12 
    13         try {
    14             Random random = new Random();//生成随机数
    15             FileWriter fileWriter = new FileWriter(file);//新建一个文件
    16             for (int i=1;i<=1000000;i++){   //生成10万个数字
    17                 int height = random.nextInt(220); 
    18                 if (height < 50) {
    19                     height = height + 50;
    20                 }
    21              String  gender = getRandomGender(); //性别方法
    22              if (height < 100 && gender == "M") {
    23                  height = height + 100;
    24              }
    25               if (height < 100 && gender == "F") {
    26                   height = height + 40;
    27               }
    28              fileWriter.write( i + " " + getRandomGender() + " " + height); //文件格式:ID 性别 身高
    29              fileWriter.write(System.getProperty("line.separator"));
    30             }
    31             fileWriter.flush();
    32             fileWriter.close();
    33             System.out.println("People Information File generated successfully.");
    34         }catch (IOException e){
    35             e.printStackTrace();
    36         }
    37     }
    38 
    39     public static String getRandomGender(){ //构建一个随机生成性别方法
    40         Random random = new Random();
    41         int randomNum = random.nextInt(2) + 1;
    42         if( randomNum % 2 == 0){
    43             return "M";
    44         }else{
    45             return "F";
    46         }
    47     }
    48 }

    c. 实例过程分析

    对于这个案例,我们要分别统计男女的信息,那么很自然的想到首先需要对于男女信息从源文件的对应的 RDD 中进行分离,这样会产生两个新的 RDD,分别包含男女信息;其次是分别对男女信息对应的 RDD 的数据进行进一步映射,使其只包含身高数据,这样我们又得到两个 RDD,分别对应男性身高和女性身高;最后需要对这两个 RDD 进行排序,进而得到最高和最低的男性或女性身高。 
    第一步,先分离男女信息,使用 filter 算子过滤条件包含”M” 的行是男性,包含”F”的行是女性;第二步我们需要使用 map 算子把男女各自的身高数据从 RDD 中分离出来;第三步我们需要使用 sortBy 算子对男女身高数据进行排序。

    特别注意:RDD 转化的过程中需要把身高数据转换成整数,否则 sortBy 算子会把它视为字符串,那么排序结果就会受到影响,例如 身高数据如果是:123,110,84,72,100,那么升序排序结果将会是 100,110,123,72,84,显然这是不对的。

    d.求出身高统计代码实现

     1 import org.apache.spark.SparkConf;
     2 import org.apache.spark.api.java.JavaRDD;
     3 import org.apache.spark.api.java.JavaSparkContext;
     4 import org.apache.spark.api.java.function.FlatMapFunction;
     5 import org.apache.spark.api.java.function.Function;
     6 import java.util.Arrays;
     7 /**
     8  * Created by Administrator on 2017/11/17.
     9  */
    10 public class PeopleInfoCalculator {
    11     public static void main(String[] args){
    12         SparkConf sparkConf = new SparkConf().setAppName("PeopleInfoCalculator").setMaster("local[3]");
    13         JavaSparkContext sc = new JavaSparkContext(sparkConf);
    14         JavaRDD<String> dataFile = sc.textFile("F:\PeopleInfo.txt");
    15 
    16         JavaRDD<String> maleFilterData = dataFile.filter(new Function<String, Boolean>() {//过滤出性别为M的数据
    17             @Override
    18             public Boolean call(String s) throws Exception {
    19                 return s.contains("M");
    20             }
    21         });
    22         JavaRDD<String> femaleFilterData = dataFile.filter(new Function<String, Boolean>() {//过滤出性别为F的数据
    23             @Override
    24             public Boolean call(String s) throws Exception {
    25                 return s.contains("F");
    26             }
    27         });
    28         JavaRDD<String> maleHeightData = maleFilterData.flatMap(new FlatMapFunction<String, String>() {//得到性别为M的身高数据
    29             @Override
    30             public Iterable<String> call(String s) throws Exception {
    31                 return Arrays.asList(s.split(" ")[2]);
    32             }
    33         });
    34         JavaRDD<String> femaleHeightData = femaleFilterData.flatMap(new FlatMapFunction<String, String>() {//得到性别为F的身高数据
    35             @Override
    36             public Iterable<String> call(String s) throws Exception {
    37                 return Arrays.asList(s.split(" ")[2]);
    38             }
    39         });
    40         JavaRDD<Integer> maleHeightDataInt = maleHeightData.map(new Function<String, Integer>() {//将字符串格式转化为整型格式
    41             @Override
    42             public Integer call(String s) throws Exception {
    43                 return Integer.parseInt(String.valueOf(s));
    44             }
    45         });
    46         JavaRDD<Integer> femaleHeightDataInt = femaleHeightData.map(new Function<String, Integer>() {//将字符串格式转化为整型格式
    47             @Override
    48             public Integer call(String s) throws Exception {
    49                 return Integer.parseInt(String.valueOf(s));
    50             }
    51         });
    52         //sortBy(<T>,ascending,numPartitions) 解释:
    53         //第一个参数是一个函数,该函数的也有一个带T泛型的参数,返回类型和RDD中元素的类型是一致的;
    54         //第二个参数是ascending,这参数决定排序后RDD中的元素是升序还是降序,默认是true,也就是升序;
    55         //第三个参数是numPartitions,该参数决定排序后的RDD的分区个数,默认排序后的分区个数和排序之前的个数相等,即为this.partitions.size。
    56         JavaRDD<Integer> maleHeightLowSort = maleHeightDataInt.sortBy(new Function<Integer,Integer>(){// true表示默认排序,为升序排序,从低到高排
    57             public Integer call(Integer s) throws Exception {
    58                 return s;
    59             }
    60         },true,3);
    61         JavaRDD<Integer> femaleHeightLowSort = femaleHeightDataInt.sortBy(new Function<Integer,Integer>(){// true表示默认排序,为升序排序,从低到高排
    62             public Integer call(Integer s) throws Exception {
    63                 return s;
    64             }
    65         },true,3);
    66         JavaRDD<Integer> maleHeightHightSort = maleHeightDataInt.sortBy(new Function<Integer,Integer>(){// false表示为降序排序,从高到低
    67             public Integer call(Integer s) throws Exception {
    68                 return s;
    69             }
    70         },false,3);
    71         JavaRDD<Integer> femaleHeightHightSort = femaleHeightDataInt.sortBy(new         Function<Integer,Integer>(){// true表示默认排序,为降序排序,从低到高排
    72             public Integer call(Integer s) throws Exception {
    73                 return s;
    74             }
    75         },false,3);
    76         Integer lowestMale = maleHeightLowSort.first(); //求出升序的第一个数,即最小值
    77         Integer lowestFemale = femaleHeightLowSort.first();//求出升序的第一个数,即最小值
    78         Integer highestMale = maleHeightHightSort.first();//求出降序的第一个数,即最大值
    79         Integer highestFemale = femaleHeightHightSort.first();//求出降序的第一个数,即最大值
    80 
    81         System.out.println("Number of Female Peole:" + femaleHeightData.count());//求出女性的总个数
    82         System.out.println("Number of Male Peole:" + maleHeightData.count());//求出男性的总个数
    83         System.out.println("Lowest Male:" + lowestMale);//求出男性最矮身高
    84         System.out.println("Lowest Female:" + lowestFemale);//求出女性最矮身高
    85         System.out.println("Highest Male:" + highestMale);//求出男性最高身高
    86         System.out.println("Highest Female:" + highestFemale);//求出女性最高身高
    87 
    88     }
    89 }

    e.运行结果:

  • 相关阅读:
    dedecms调用新增加的内容模型字段
    dedecms另一种单页制作方法
    dedecms文章列表加上序号效果
    解析DeDecms系统的SEO内部优化技巧
    织梦dedecms如何对列表添加判断语句
    织梦DEDE CMS文章列表arclist标签大全
    织梦dedecms 幻灯片 自定义设置
    当前标签dede[field:**] 标签调用说明
    织梦dedecms中的{dede:php}{/dede:php}的详细用法
    uva1628 Pizza Delivery
  • 原文地址:https://www.cnblogs.com/jinggangshan/p/8109329.html
Copyright © 2011-2022 走看看