zoukankan      html  css  js  c++  java
  • mongodb的join操作

         众所周知,mongodb是不支持join操作的,因此我们只能自己来实现这个功能。前段时间,我遇到这个一个业务场景:

         collection A 的数据格式:

    { "_id" : { "username" : "jifeng.zjd", "version" : 2 }, "value" : 1 }

         collection B 的数据格式:

    { "user_id" : 12630, "username" : "jifeng.zjd" }

         A表的数据量为2w,B表的数据量为25w。为了说明简单,我简化下需求,就是计算A._id.username = B.username 的B表中的用户数据,也就是求A和B的交集。没有join,怎么办呢?

         相信大家都应该有自己的解答了,由于A表的数据量相对于B表来讲是少的,所以可以先取出A表的所有数据,然后去B表查询,看那些数据同时存在于A和B表中。当然在mongodb中对A和B建立适当的索引是非常必要的。我采用的方法是对B表的username字段进行索引。如对mongodb索引不了解,可以参见《mongoDB的索引使用及索引机制》 一文。

         这里我使用的语言是nodejs,node_module采用的mongoskin,我刚开始写了一个简单的实现:

    db.A.find({}, {}, function(err, adata){
      if (err) return callback(err);
      //得到A表中的所有数据
      adata.toArray(function(err, aArray){
        if (err) return callback(err);
        var len = aArray.length;
        var result = [];
        for (var i = 0; i < len; i++) {
          var item = aArray[i];
          var username = item._id.username;
          var op = {username: username};
          //查看B表中这条数据
          db.B.findOne(op, {}, function(err, data){
            allcount++;
            if (data) {
              result.push(data.username); 
            }
            if (allcount === len) {
              callback(null, result); 
            } 
          })
        }
      })
    })

          这段代码是能满足业务需求,但大家有没有发现它存在一个致命的问题?对,运行速度慢!

          原因很简单,我是从A表中批量取到所有数据,然后又用findOne方法一条条去B表中查询,A表中有2w数据,也就是要查B表2w次,虽然B表中已经建立索引,但这样的查询逻辑明显是不可接受。知道问题所在,解决方案也就清楚了:对B表进行批量查询:

    db.A.find({}, {}, function(err, adata){
      if (err) return callback(err);
      //得到A表中的所有数据
      adata.toArray(function(err, aArray){
        if (err) return callback(err);
        var len = aArray.length;
        var result = [];
        var usernames = [];
        for (var i = 0; i < len; i++) {
          var item = aArray[i];
          var username = item._id.username;
          usernames.push(username);
        }
        var op = {username: {$in: usernames}};
        //查看B表中这条数据
        db.B.find(op, {}, function(err, bdata){
          ddata.toArray(function(err, barray){
            callback(barray);  
          })
        })
      })
    })

         经过这样的优化,程序性能会有明显的提升。

         希望对大家有所帮助。

         

  • 相关阅读:
    Angular JS 学习之 Scope作用域
    PHP变量
    AngularJS学习之模型
    Angular JS学习之指令
    Angular JS学习之表达式
    Angular JS 学习之简介
    HTML DOM学习之三
    HTML DOM学习之二
    HTML DOM学习之一
    《集体智慧编程》第一章
  • 原文地址:https://www.cnblogs.com/lengyuhong/p/2446442.html
Copyright © 2011-2022 走看看