“谁是大V”算法设计 （Map-Reduce TopN）

作业设计与资料 链接: http://pan.baidu.com/s/1o6MJTyi 密码: 628d

一、     作业要求

 

根据关注列表relsample.json文件，设计MapReduce算法得到被关注次数最多的前十人，即寻找谁是大V。

二、     算法设计

 

1. 第一个Mapper用于解析json文件：

从relsample.json文件中解析出ids列表的内容，即每个人所关注的人的列表。输出的value为列表中的每一项，k为one。

对应的文件为srcmyMapper eadJsonMapper.java。

1. Reducer根据1的结果统计每个id被关注的次数：

对应的文件为srcmyReducer eadJsonReducer.java。

1. 第二个Mapper对2的结果进行排序，得到topN：

对应的文件为srcmyReducer topMapper.java。

Ps：排序说明

（jsonTopN和jsonTopN3两个文件夹不同部分的说明）

 

关于排序用了两种方法来实现。

第一种方法（对应jsonTopN文件夹）：编写一个用于存放结果类型的类（结果包含id和被关注次数两个属性），再编写一个排序算法用于对该类进行排序（根据被关注次数排序）。

对应文件：jsonTopNsrcmyCommon myDataCell.java

          jsonTopNsrcmyCommon mySort.java

第二种方法（对应jsonTopN3文件夹）：使用Arrays.sort()对自己定义的类进行排序。具体实现是首先定义自己的类，该类必须继承自Comparable抽闲接口，因为调用sort排序的对象必须是可以比较的，通过重载Comparable接口的compareTo函数定义自己的比较规则。   

对应文件：jsonTopN3srcmyCommon myDataCell.java

三、     运行截图

 

1. jsonTopN程序运行截图

 

2. jsonTopN3程序运行截图