zoukankan      html  css  js  c++  java
  • MongoDB_聚合

      MongoDB提供以下聚合工具来对数据进行操作:聚合框架、MapReduce以及几个简单聚合命令:count、distinct、group

      聚合框架:可以使用多个构件创建一个管道,上一个构件的结果传给下一个构件。这些构件包括:筛选($match)、投射($project)、分组($group)、排序($sort)、限制($limit)、跳过($skip),不同的管道操作可以任意组合,重复使用 

    # from pymongo import MongoClient
    # import datetime
    # from pprint import pprint
    #
    # #连接
    # #client = MongoClient('localhost',27017)
    # client = MongoClient('mongodb://root:123@localhost:27017')
    #
    # #使用数据库
    # db = client['db1']
    #
    # #查看数据库下所有的集合
    # print(db.collection_names(include_system_collections=False))
    #
    # #创建集合
    # table_user = db['userinfo']
    #
    # #插入文档
    # user0 = {
    #     'id':1,
    #     'name':'lary',
    #     'birth':datetime.datetime.now(),
    #     'age':10,
    #     'hobbies':['music','read','dancing'],
    #     'addr':{
    #         'country':'China',
    #         'city':'BJ'
    #     }
    # }
    # user1 = {
    #     'id':2,
    #     'name':'lary1',
    #     'birth':datetime.datetime.now(),
    #     'age':10,
    #     'hobbies':['music','read','dancing'],
    #     'addr':{
    #         'country':'China',
    #         'city':'BJ'
    #     }
    # }
    #
    # user2 = {
    #     'id':3,
    #     'name':'lary2',
    #     'birth':datetime.datetime.now(),
    #     'age':10,
    #     'hobbies':['music','read','dancing'],
    #     'addr':{
    #         'country':'China',
    #         'city':'BJ'
    #     }
    # }
    #
    # #插入数据
    # # res = table_user.insert_many([user0,user1,user2]).inserted_ids
    # # print(table_user.count())
    #
    # #查找数据
    # #pprint(table_user.find_one())
    # # for item in table_user.find():
    # #     pprint(item)
    #
    # print(table_user.find_one({'id':{'$gte':1},'name':'lary'}))
    #
    # #更新数据
    # table_user.update({'id':1},{'name':'lary'})
    #
    # #传入新的文档替换旧的文档
    # table_user.save(
    #     {
    #         'id':2,
    #         'name':'lary_test'
    #     }
    # )
    
    from pymongo import MongoClient
    import datetime
    
    client = MongoClient('mongodb://root:123@localhost:27017')
    table = client['db1']['user']
    
    user_data =[
    ('lary','male',18,'20170301','good teacher',7300.33,401,1), #教学部
    ('lily','male',78,'20150302','teacher',1000000.31,401,1),
    ('jane','male',81,'20130305','teacher',8300,401,1),
    ('tom','male',73,'20140701','teacher',3500,401,1),
    ('jack','male',28,'20121101','teacher',2100,401,1),
    ('lory','female',18,'20110211','teacher',9000,401,1),
    ('martin','male',18,'19000301','teacher',30000,401,1),
    ('tracy','male',48,'20101111','teacher',10000,401,1),
    
    ('yy','female',48,'20150311','sale',3000.13,402,2),#销售部
    ('cc','female',38,'20101101','sale',2000.35,402,2),
    ('tt','female',18,'20110312','sale',1000.37,402,2),
    ('kk','female',18,'20160513','sale',3000.29,402,2),
    ('jj','female',28,'20170127','sale',4000.33,402,2),
    
    ('AA','male',28,'20160311','operation',10000.13,403,3), #运营部
    ('CYA','male',18,'19970312','operation',20000,403,3),
    ('CYQ','female',18,'20130311','operation',19000,403,3),
    ('CYE','male',18,'20150411','operation',18000,403,3),
    ('CYT','female',18,'20140512','operation',17000,403,3)
    ]
    
    for n,item in enumerate(user_data):
        d = {
            'id':n,
            'name':item[0],
            'sex':item[1],
            'age':item[2],
            'hire_date':datetime.datetime.strptime(item[3],'%Y%m%d'),
            'post':item[4],
            'salary':item[5]
        }
        table.save(d)
    数据准备

      $match

    #{"$match":{"字段":"条件"}},可以使用任何常用查询操作符$gt,$lt,$in等
    
    db.emp.aggregate({"$match":{"post":"teacher"}})   #select * from db1.emp where post='teacher';
    db.emp.aggregate(
        {"$match":{"_id":{"$gt":3}}},
        {"$group":{"_id":"$post",'avg_salary':{"$avg":"$salary"}}}
    )                              #select * from db1.emp where id > 3 group by post;  
    db.emp.aggregate(
        {"$match":{"_id":{"$gt":3}}},
        {"$group":{"_id":"$post",'avg_salary':{"$avg":"$salary"}}},
        {"$match":{"avg_salary":{"$gt":10000}}}
    )                               #select * from db1.emp where id > 3 group by post having avg(salary) > 10000;  

      $project

    {"$project":{"要保留的字段名":1,"要去掉的字段名":0,"新增的字段名":"表达式"}}
    
    #1、select name,post,(age+1) as new_age from db1.emp;
    db.emp.aggregate(
        {"$project":{
            "name":1,
            "post":1,
            "new_age":{"$add":["$age",1]}
            }
    })
    
    #2、表达式之数学表达式
    {"$add":[expr1,expr2,...,exprN]} #相加
    {"$subtract":[expr1,expr2]} #第一个减第二个
    {"$multiply":[expr1,expr2,...,exprN]} #相乘
    {"$divide":[expr1,expr2]} #第一个表达式除以第二个表达式的商作为结果
    {"$mod":[expr1,expr2]} #第一个表达式除以第二个表达式得到的余数作为结果
    
    #3、表达式之日期表达式:$year,$month,$week,$dayOfMonth,$dayOfWeek,$dayOfYear,$hour,$minute,$second
    #例如:select name,date_format("%Y") as hire_year from db1.emp
    db.emp.aggregate(
        {"$project":{"name":1,"hire_year":{"$year":"$hire_date"}}}
    )
    
    #例如查看每个员工的工作多长时间
    db.emp.aggregate(
        {"$project":{"name":1,"hire_period":{
            "$subtract":[
                {"$year":new Date()},
                {"$year":"$hire_date"}
            ]
        }}}
    )
    
    
    #4、字符串表达式
    {"$substr":[字符串/$值为字符串的字段名,起始位置,截取几个字节]}
    {"$concat":[expr1,expr2,...,exprN]} #指定的表达式或字符串连接在一起返回,只支持字符串拼接
    {"$toLower":expr}
    {"$toUpper":expr}
    
    db.emp.aggregate( {"$project":{"NAME":{"$toUpper":"$name"}}})
    
    #5、逻辑表达式
    $and
    $or
    $not
    #其他见Mongodb权威指南

      $group

    {"$group":{"_id":分组字段,"新的字段名":聚合操作符}}
    
    #1、将分组字段传给$group函数的_id字段即可
    {"$group":{"_id":"$sex"}} #按照性别分组
    {"$group":{"_id":{"state":"$state","city":"$city"}}} #按照多个字段分组,比如按照州市分组
    
    #2、分组后聚合得结果,类似于sql中聚合函数的聚合操作符:$sum、$avg、$max、$min、$first、$last
    #例1:select post,max(salary) from db1.emp group by post; 
    db.emp.aggregate({"$group":{"_id":"$post","max_salary":{"$max":"$salary"}}})
    
    #例2:去每个部门最大薪资与最低薪资
    db.emp.aggregate({"$group":{"_id":"$post","max_salary":{"$max":"$salary"},"min_salary":{"$min":"$salary"}}})
    
    #例3:如果字段是排序后的,那么$first,$last会很有用,比用$max和$min效率高
    db.emp.aggregate({"$group":{"_id":"$post","first_id":{"$first":"$_id"}}})
    
    #例4:求每个部门的总工资
    db.emp.aggregate({"$group":{"_id":"$post","count":{"$sum":"$salary"}}})
    
    #例5:求每个部门的人数
    db.emp.aggregate({"$group":{"_id":"$post","count":{"$sum":1}}})
    
    #3、数组操作符
    {"$addToSet":expr}:不重复
    {"$push":expr}:重复
    
    #例:查询岗位名以及各岗位内的员工姓名:select post,group_concat(name) from db1.emp group by post;
    db.emp.aggregate({"$group":{"_id":"$post","names":{"$push":"$name"}}})
    db.emp.aggregate({"$group":{"_id":"$post","names":{"$addToSet":"$name"}}})

      $sort/$limit/$skip

    {"$sort":{"字段名":1,"字段名":-1}} #1升序,-1降序
    {"$limit":n} 
    {"$skip":n} #跳过多少个文档
    
    #例1、取平均工资最高的前两个部门
    db.emp.aggregate({"$group":{"_id":"$post","平均工资":{"$avg":"$salary"}}},{"$sort":{"平均工资":-1}},{"$limit":2})
    #例2、
    db.emp.aggregate({ "$group":{"_id":"$post","平均工资":{"$avg":"$salary"}}},{"$sort":{"平均工资":-1}},{ "$limit":2},{ "$skip":1})

      $sample

    #从user集合中随机选取3个文档
    db.user.aggregate(
       [ { $sample: { size: 3 } } ]
    )
    1. 查询岗位名以及各岗位内的员工姓名
    2. 查询岗位名以及各岗位内包含的员工个数
    3. 查询公司内男员工和女员工的个数
    4. 查询岗位名以及各岗位的平均薪资、最高薪资、最低薪资
    5. 查询男员工与男员工的平均薪资,女员工与女员工的平均薪资
    6. 查询各岗位内包含的员工个数小于2的岗位名、岗位内包含员工名字、个数
    7. 查询各岗位平均薪资大于10000的岗位名、平均工资
    8. 查询各岗位平均薪资大于10000且小于20000的岗位名、平均工资
    9. 查询所有员工信息,先按照age升序排序,如果age相同则按照hire_date降序排序
    10. 查询各岗位平均薪资大于10000的岗位名、平均工资,结果按平均薪资升序排列
    11. 查询各岗位平均薪资大于10000的岗位名、平均工资,结果按平均薪资降序排列,取前1个
    练习题
    1. 查询岗位名以及各岗位内的员工姓名
    db.emp.aggregate({"$group":{"_id":"$post","names":{"$push":"$name"}}})
    
    2. 查询岗位名以及各岗位内包含的员工个数
    db.emp.aggregate({"$group":{"_id":"$post","count":{"$sum":1}}})
    
    3. 查询公司内男员工和女员工的个数
    db.emp.aggregate({"$group":{"_id":"$sex","count":{"$sum":1}}})
    
    4. 查询岗位名以及各岗位的平均薪资、最高薪资、最低薪资
    db.emp.aggregate({"$group":{"_id":"$post","avg_salary":{"$avg":"$salary"},"max_salary":{"$max":"$salary"},"min_salary":{"$min":"$salary"}}})
    
    5. 查询男员工与男员工的平均薪资,女员工与女员工的平均薪资
    db.emp.aggregate({"$group":{"_id":"$sex","avg_salary":{"$avg":"$salary"}}})
    
    6. 查询各岗位内包含的员工个数小于2的岗位名、岗位内包含员工名字、个数
    db.emp.aggregate(
    {
        "$group":{"_id":"$post","count":{"$sum":1},"names":{"$push":"$name"}}
    },
    {"$match":{"count":{"$lt":2}}},
    {"$project":{"_id":0,"names":1,"count":1}}
    )
    
    7. 查询各岗位平均薪资大于10000的岗位名、平均工资
    db.emp.aggregate(
    {
        "$group":{"_id":"$post","avg_salary":{"$avg":"$salary"}}
    },
    {"$match":{"avg_salary":{"$gt":10000}}},
    {"$project":{"_id":1,"avg_salary":1}}
    )
    
    8. 查询各岗位平均薪资大于10000且小于20000的岗位名、平均工资
    db.emp.aggregate(
    {
        "$group":{"_id":"$post","avg_salary":{"$avg":"$salary"}}
    },
    {"$match":{"avg_salary":{"$gt":10000,"$lt":20000}}},
    {"$project":{"_id":1,"avg_salary":1}}
    )
    
    9. 查询所有员工信息,先按照age升序排序,如果age相同则按照hire_date降序排序
    db.emp.aggregate(
    {"$sort":{"age":1,"hire_date":-1}}
    )
    
    10. 查询各岗位平均薪资大于10000的岗位名、平均工资,结果按平均薪资升序排列
    db.emp.aggregate(
    {
        "$group":{"_id":"$post","avg_salary":{"$avg":"$salary"}}
    },
    {"$match":{"avg_salary":{"$gt":10000}}},
    {"$sort":{"avg_salary":1}}
    )
    
    11. 查询各岗位平均薪资大于10000的岗位名、平均工资,结果按平均薪资降序排列,取前1个
    db.emp.aggregate(
    {
        "$group":{"_id":"$post","avg_salary":{"$avg":"$salary"}}
    },
    {"$match":{"avg_salary":{"$gt":10000}}},
    {"$sort":{"avg_salary":-1}},
    {"$limit":1},
    {"$project":{"date":new Date,"平均工资":"$avg_salary","_id":0}}
    )
    View Code
  • 相关阅读:
    06 PIE-Hyp图像修复
    在IIS中部署.NET Core WebApi程序
    深入学习ASP.NETCORE免费视频课程
    推荐设计10大接单平台
    Mysql—安装和使用(1)
    .Net WebApi接口之Swagger配置请求头apiKey验证
    .Net WebApi接口之Swagger设置让控制器上的注释显示
    执行dotnet *.dll启动项目,修改环境变量
    MySql下载及安装(Windows环境 )
    dev的grid封装组件,拖拽初始化属性
  • 原文地址:https://www.cnblogs.com/iamluoli/p/9560515.html
Copyright © 2011-2022 走看看