MogoDB3

聚合

多数据文档进行整理统计

db.collectionName.aggregate()

功能：聚合函数，配合聚合条件进行数据整理统计

参数：聚合条件

聚合操作符

$group 分组   ：和分组操作符配合使用，确定按什么分组

分组操作符

$sum 求和：{$sum:1}表示统计每组个数（即gender中每统计一个，sum加1次）

> db.class1.aggregate({$group:{_id:'$gender',total_num:{$sum:1}}})

          ---------聚合----------分组---------按gender分组-----统计结果

{ "_id" : null, "total_num" : 4 }
{ "_id" : "men", "total_num" : 2 }
{ "_id" : "women", "total_num" : 4 }

$sum 求和：{$sum:‘$Age'’}表示统计每组个数（即gender中每统计一个，Age加1次）

> db.class1.aggregate({$group:{_id:'$gender',total_num:{$sum:'$Age'}}})
{ "_id" : null, "total_num" : 80 }
{ "_id" : "men", "total_num" : 85 }
{ "_id" : "women", "total_num" : 125 }
>

$avg 求平均数

> db.class1.aggregate({$group:{_id:'$gender',total_num:{$avg:'$Age'}}})
{ "_id" : null, "total_num" : 40 }
{ "_id" : "men", "total_num" : 42.5 }
{ "_id" : "women", "total_num" : 31.25 }
>

$min 求最小值

> db.class1.aggregate({$group:{_id:'$gender',total_num:{$min:'$Age'}}})
{ "_id" : null, "total_num" : 25 }
{ "_id" : "men", "total_num" : 30 }
{ "_id" : "women", "total_num" : 24 }
>

$max求最大值

> db.class1.aggregate({$group:{_id:'$gender',total_num:{$max:'$Age'}}})
{ "_id" : null, "total_num" : 55 }
{ "_id" : "men", "total_num" : 55 }
{ "_id" : "women", "total_num" : 45 }
>

$first返回每组第一个文档指定域值

> db.class1.aggregate({$group:{_id:'$gender',total_num:{$first:'$name'}}})
{ "_id" : null, "total_num" : "永强" }
{ "_id" : "men", "total_num" : "广坤" }
{ "_id" : "women", "total_num" : "刘英" }
>

$last返回每组第一个文档指定域值

> db.class1.aggregate({$group:{_id:'$gender',total_num:{$last:'$name'}}})
{ "_id" : null, "total_num" : "王天来" }
{ "_id" : "men", "total_num" : "玉田" }
{ "_id" : "women", "total_num" : "小刘英" }
>

$project

用于修饰文档的显示结构

> db.class1.aggregate({$project:{_id:0,name:1}})
{ "name" : "刘英" }
{ "name" : "广坤" }
{ "name" : "谢大脚" }
{ "name" : "小梦" }
{ "name" : "永强" }
{ "name" : "玉田" }
{ "name" : "小刘英" }
{ "name" : "刘能" }
{ "name" : "大老乃" }
{ "name" : "王天来" }
>

可以修改显示的域的名字，但实际并未修改

> db.class1.aggregate({$project:{_id:0,NAME:'$name'}})
{ "NAME" : "刘英" }
{ "NAME" : "广坤" }
{ "NAME" : "谢大脚" }
{ "NAME" : "小梦" }
{ "NAME" : "永强" }
{ "NAME" : "玉田" }
{ "NAME" : "小刘英" }
{ "NAME" : "刘能" }
{ "NAME" : "大老乃" }
{ "NAME" : "王天来" }

$match 过滤数据

操作符的值，同find的query

> db.class1.aggregate({$match:{name:{$gt:'玉田'}}})
{ "_id" : ObjectId("5d315c6f9a271d2e4db00377"), "name" : "王天来", "faimly" : { "father" : "刘能", "mother" : "谢大脚" } }
{ "_id" : ObjectId("5d2fe2be6c7d5889fff5fb31"), "name" : "谢大脚", "hobby" : [ "跳舞", "睡觉", "喝酒", "唱歌" ], "Age" : 45, "location" : "象牙山", "gender" : "women" }

$skip 跳过前几条文档

> db.class1.aggregate({$skip:6})
{ "_id" : ObjectId("5d301d939646724b48d62ae5"), "name" : "小刘英", "hobby" : [ "学习", "看电影", "听音乐" ], "Age" : 24, "location" : "象牙山", "gender" : "women" }
{ "_id" : ObjectId("5d30261f9646724b48d62b0e"), "name" : "刘能", "Age" : 55, "hobby" : [ "喝酒", "吹牛", "打麻将" ], "telephone" : 138 }
{ "_id" : ObjectId("5d3158d59a271d2e4db00376"), "name" : "大老乃" }
{ "_id" : ObjectId("5d315c6f9a271d2e4db00377"), "name" : "王天来", "faimly" : { "father" : "刘能", "mother" : "谢大脚" } }
>

$limit显示几条文档

> db.class1.aggregate({$limit:3})
{ "_id" : ObjectId("5d2ed0c9226651eee5c79df3"), "name" : "刘英", "hobby" : [ "吃饭", "睡觉", "打豆豆" ], "Age" : 31, "location" : "象牙山", "gender" : "women" }
{ "_id" : ObjectId("5d2ee382226651eee5c79df6"), "name" : "广坤", "hobby" : [ "抽烟", "烫头" ], "Age" : 55, "location" : "象牙山", "gender" : "men" }
{ "_id" : ObjectId("5d2fe2be6c7d5889fff5fb31"), "name" : "谢大脚", "hobby" : [ "跳舞", "睡觉", "喝酒", "唱歌" ], "Age" : 45, "location" : "象牙山", "gender" : "women" }
>

$sort 排序

> db.class1.aggregate({$sort:{name:1}})
{ "_id" : ObjectId("5d30261f9646724b48d62b0e"), "name" : "刘能", "Age" : 55, "hobby" : [ "喝酒", "吹牛", "打麻将" ], "telephone" : 138 }
{ "_id" : ObjectId("5d2ed0c9226651eee5c79df3"), "name" : "刘英", "hobby" : [ "吃饭", "睡觉", "打豆豆" ], "Age" : 31, "location" : "象牙山", "gender" : "women" }
{ "_id" : ObjectId("5d3158d59a271d2e4db00376"), "name" : "大老乃" }
{ "_id" : ObjectId("5d301d939646724b48d62ae5"), "name" : "小刘英", "hobby" : [ "学习", "看电影", "听音乐" ], "Age" : 24, "location" : "象牙山", "gender" : "women" }
{ "_id" : ObjectId("5d2fe2f16c7d5889fff5fb32"), "name" : "小梦", "hobby" : [ "看电视", "睡觉", "打飞机" ], "Age" : 25, "location" : "象牙山", "gender" : "women" }
{ "_id" : ObjectId("5d2ee382226651eee5c79df6"), "name" : "广坤", "hobby" : [ "抽烟", "烫头" ], "Age" : 55, "location" : "象牙山", "gender" : "men" }
{ "_id" : ObjectId("5d2fe30a6c7d5889fff5fb33"), "name" : "永强", "hobby" : [ "看电视", "睡觉" ], "Age" : 25, "location" : "象牙山" }
{ "_id" : ObjectId("5d2fe49e6c7d5889fff5fb37"), "name" : "玉田", "hobby" : [ "打豆豆", "睡觉" ], "Age" : 30, "location" : "象牙山", "gender" : "men" }
{ "_id" : ObjectId("5d315c6f9a271d2e4db00377"), "name" : "王天来", "faimly" : { "father" : "刘能", "mother" : "谢大脚" } }
{ "_id" : ObjectId("5d2fe2be6c7d5889fff5fb31"), "name" : "谢大脚", "hobby" : [ "跳舞", "睡觉", "喝酒", "唱歌" ], "Age" : 45, "location" : "象牙山", "gender" : "women" }
>

聚合管道

将前一个聚合操作的结果，给下一个聚合操作，继续执行

db.collcetioName.aggregate([聚合1，聚合2，...])

> db.class1.aggregate([{$match:{name:{$gt:'刘能'}}},{$project:{_id:0,display_name:'$name'}},{$sort:{name:-1}}])
{ "display_name" : "刘英" }
{ "display_name" : "大老乃" }
{ "display_name" : "小刘英" }
{ "display_name" : "小梦" }
{ "display_name" : "广坤" }
{ "display_name" : "永强" }
{ "display_name" : "玉田" }
{ "display_name" : "王天来" }
{ "display_name" : "谢大脚" }
>

> db.class1.aggregate([{$group:{_id:'$gender',total_num:{$sum:1}}},{$match:{$nor:[{_id:'men'},{_id:'women'}]}}])
{ "_id" : null, "total_num" : 4 }
>

固定集合

用途：日志处理或临时缓存

mongo中可以创建大小固定的集合，称之为固定集合，固定集合的性能出色，使用于很多场景

特点：1、插入速度快

　　　　2、顺序查询速度快

　　　　3、能够淘汰早期数据

　　　　4、可以控制集合空间

创建：

db.createCollection(collectionName,{capped:true,size:数值,max:数值})

size:设置固定集合的大小，单位kb

max:最多能容纳多少文档

> db.createCollection('Log',{capped:true,size:10,max:3})

> db.Log.insert({ID:'1',error:'文件错误'})
WriteResult({ "nInserted" : 1 })
> db.Log.insert({ID:'2',error:'文件错误'})
WriteResult({ "nInserted" : 1 })
> db.Log.insert({ID:'3',error:'输入错误'})
WriteResult({ "nInserted" : 1 })
> db.Log.insert({ID:'4',error:'输入错误'})
WriteResult({ "nInserted" : 1 })
> db.Log.find({},{_id:0})
{ "ID" : "2", "error" : "文件错误" }
{ "ID" : "3", "error" : "输入错误" }
{ "ID" : "4", "error" : "输入错误" }
>

文件存储

数据库存储文件的方式：

1、在数据库中以字符串的方式，存储文件在本地的路径

优点：节省数据库空间；

缺点：当数据库或文件位置发生变化，则需要相应修改数据库内容

2、将文件以二进制数据的方式，存放在数据库里

优点：文件存入数据库，只要数据库在，文件则不会丢失

缺点：当文件较大时，数据库空间占用大，提前困难

mongo中使用GridFS方法，进行大文件存储

GridFS:是mongodb中，大文件存储的一种方案，mongo中认为大于16M的文件为大文件

方案原理：

在mongo数据库中，创建两个集合，共同完成对文件的存储

fs.files:存储文件的相关信息，比如：文件名和文件类型

fs.chunks:实际存储文件的内容，以二进制方式分块存储，将大文件分为多个小块，每块占一个空间

缺点：由于多了，分块和组成的过程，文件存储和读取慢

 mongofiles -d dbname put file

yangrui@ubuntu:~/day9$ mongofiles -d grid_db put picture.jpg
2019-07-22T13:51:02.243+0800 connected to: localhost
added file: picture.jpg

如果数据库不存在，则自动创建。

> db.fs.files.find()
{ "_id" : ObjectId("5d354ec61d41c850f13fbecf"), "chunkSize" : 261120, "uploadDate" : ISODate("2019-07-22T05:51:02.508Z"), "length" : 6487058, "md5" : "df0a525105fc3b62bcddd62a52ed4926", "filename" : "picture.jpg" }
>

>db.fs.chunks.find()

{ "_id" : ObjectId("5d354ec61d41c850f13fbee3"), "files_id" : ObjectId("5d354ec61d41c850f13fbecf"), "n" : 19, "data" : BinData(0,"d/tY8sjsfXrSdmrhzXZIjzIxudxcFOSV6D39KkjkbzU8zDJt4I6sT04/z0qI71YoB5RCZBzlQ

fs.files和fs.chunks是通过objectid产生关联

从mongodb获取文件，存放到Linux

yangrui@ubuntu:~$ mongofiles -d grid_db get picture.jpg

优点：存储方便，方便数据库移植，对文件个数没有太多限制；

缺点：读写效率低

游标：

为什么使用游标：

1、防止网络拥塞，造成数据传输慢

2、提高用户解析体验，可以后端解析

> use stu
switched to db stu
> var cursor=db.class1.find()  创建游标

cursor.hasNext()  查看是否有下一个数据
> cursor.next() 获取下一个数据
{
"_id" : ObjectId("5d2ed0c9226651eee5c79df3"),
"name" : "刘英",
"hobby" : [
"吃饭",
"睡觉",
"打豆豆"
],
"Age" : 31,
"location" : "象牙山",
"gender" : "women"
}
>

通过Python操作MongoDB数据库

安装

sudo pip3 install pymongo

yangrui@ubuntu:~$ sudo apt install python3-pip安装pip3

yangrui@ubuntu:~$ sudo pip3 install pymongo

操作步骤;

1、创建mongo数据库的链接对象

conn=MongoClient('localhos',27017)

2、生产数据库对象

db=conn.stu

3、生产集合对象

my_set=db.class1

4、增删改查索引聚合操作

插入数据：

insert()

insert_many()

insert_one()

save()

from pymongo import MongoClient

#创建链接对象
conn=MongoClient('localhost',27017)

#创建集合对象和数据库对象
db=conn.stu

my_set=db.class1

#my_set.insert({'name':'刘大脑袋','Age':50,'hobby':['谢大脚','喝酒']})

#插入多个文档
#my_set.insert_many([{'name':'王大拿','Age':55},{'name':'老王','Age':76}])

#my_set.insert_one({'name':'隔壁老刘','hobby':['刘英','二人转']})
#my_set.save({'name':'赵四'})

删除数据

remove({}，multi=True)

multi:默认为true ,表示删除所有符合条件的数据

　　设置为False 表示只删除一条

#my_set.remove({'name':'赵四'})

my_set.remove()删除所有文档

数据查找

find()

功能：查找数据库内容

参数：和mongo shell相同 

返回值：返回一个游标

　　　　迭代器

cursor

next()

count()

limit()

skip()

sort()

mongoshell--------sort({'name':1})

pymongo------------sort([('name',1)]) 

***进行排序时，游标要确保没有被访问过

修改操作

update()

参数和mongoshel中的update相同

update_many()

匹配到多个文档时，全部修改

update_one()

只修改匹配到的第一条文档

如果要修改的文档没有匹配，通过upsert=True，直接添加一条文档

my_set.update({'name':'刘能'},{'$set':{'Age':'45','hobby':['跳舞','吹牛']}},upsert=True)

**编程过程中mongo的数据类型null，可以用python中的None替代