MongoDB进行MapReduce的数据类型

MongoDB进行MapReduce的数据类型

有很长一段时间没更新博客了，因为最近都比较忙，今天算是有点空闲吧。本文主要是介绍MapReduce在MongoDB上的使用，它与sql的分组、聚集类似，也是先map分组，再用reduce统计，最后还可选性地使用finalize调整最终结果。好了，来介绍下我所使用版本是MongoDB2.4.5，然后我还使用了MongoVUE（一款非常不错的图形化mongodb管理工具）帮助我协同操作。

　　1、原始数据，待使用的Collection中有三条doc：　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　而且它们的数据格式为：

  

　　可能很多人并不注意mongodb中存的数据格式吧，但是对于我来说，这个很敏感，我并不喜欢在后台使用object来保存这些本来明确的类型。这里我多提一点，如果是使用控制台插入的数据，你插入的数字，很可能存成了Double，而想存成整型，则必须要用NumberInt()、NumberLong()来，示例：

　　

　　运行后在控制台上是看不出来数据类型的，但是利用MongoVUE，我可以看到：

　　数据库直接存成了double。而使用：

　　

　　可以让它存成int32，使用NumberLong()可以存成Int64。 

　　2、进行MapReduce，实现查找不同名字的人各有多少个的统计。首先是map函数，再调用reduce函数　　

1 function Map() {
2     emit(
3         this.name,
4         {count: 1}
5     ); 
6 }

　　emit(key,value)是一个分组的函数，表示以指定key对原doc进行分组，value是从doc中取出的数据或者自己录入的数据，它将会被添加到一个集合（暂称C集合）中。MapReduce会对各个doc都进行一次Map函数调用，但你可以决定是否使用emit函数对此doc进行分组，不分组的doc就相当于弃置了。不过我推荐不要在Map函数中添加过滤操作，如if (xxx==yyy)  emit(...,...);，而应该在进行MapReduce前就进行Query过滤掉信息（后面会讲）。在Map函数中可以进行的过滤操作一般也是分类操作，比如成绩高于60的以某种方法emit，低于60的以某种方法emit，而不应该说是高于60的进行emit，否则什么都不做。

1 function Reduce(key, values) {
2     var reduced = {count:0, name:""}; // 初始化返回值
3     values.forEach(function(val) {
4         reduced.count += val.count; 
5     });
6     return reduced;    
7 }

　　接下来是Reduce函数，这个便是根据上面的emit分组数据进行统计了，函数的参数分别是key（它是上面的emit中的key）和values（它就是上面提到的C集合）。MapReduce会对各个分组的key都进行一次Reduce函数调用。函数第一行是对需要的统计结果数据进行初始化，然后就是自己的统计方法了，最后需要返回这个结果。

　　好了，看下在DB控制台下怎么调用这个MapReduce：

 1 db.runCommand({ mapreduce: "lekko", 
 2  map : function Map() {
 3     emit(
 4         this.name,
 5         {count: 1}
 6     ); 
 7 },
 8  reduce : function Reduce(key, values) {
 9     var reduced = {count:0, name:""}; // 初始化返回值
10     values.forEach(function(val) {
11         reduced.count += val.count; 
12     });
13     return reduced;    
14 },
15  out : { inline : 1 }
16 });

　　结果很快出来了：，由于我前面又在控制台下添加了两条doc，所以现在lekko名称的人有4个了。值得注意的是，这里在MapReduce之后的结果都将成为double型！

　　

　　3、一些附加操作

　　单纯的MapReduce原理很简单，关键是会灵活使用就好。现在我例出几个我自己的使用心得：

　　（1）把Query也放到MapReduce中

　　在前面的runCommand中添加参数。例如我要查询所有男生的，就添加..., query : { "isman" : true }, ...。

　　（2）对结果进行数据类型转化

　　利用Finalize函数（该函数是在Reduce函数后调用，它将对所有key的Reduce结果进行最后的操作），例如我在后台调用了api后想得到的是int型数据，而不是double的，那么就可以添加Finalize函数：

1 ...,
2 finalize : function Finalize(key, reduced) {
3     reduced.count = NumberInt(reduced.count);
4     return reduced;
5 },
6 ...

　　这样，输出的reduced将会是int32，在后台你就直接用一个强制转化就行了，而不需要先从object转为double，再转为int（用ToString后再用Prase也不如强制转化）。

　　（3）时间类型

　　因为mongodb是有Date类型的，但是由于存入的时间格式和查询时间的格式可能不一致（特别是在你的mongodb部署在远程，而开发又是多人协作），会导致根据时间条件，却查不出数据的问题。我的建议，直接存时间的long形态（过去秒数），那么这种差异性问题就不复存在。

　　转载请注明原址：http://www.cnblogs.com/lekko/p/3240028.html

 

分类: DataBase

标签: DB

绿色通道： 好文要顶 关注我 收藏该文与我联系