python连接MongoDB

一、MongoDB介绍

MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。MongoDB 是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。

在做爬虫的时候，抓取的数据是一些结构化的信息，字典结构的数据，在存储的过程中，不需要关心表的结构，可以直接将字典的结构进行动态的插入到MongoDB中即可，它是一个key-value关系的存储。

二、MongoDB安装（window下安装）

下载链接：https://www.mongodb.com/

网盘下载：https://pan.baidu.com/s/19HfmwU0ibx2qMsF8E-8DWw   提取码：m03v

MongoDB可视化工具：Robo 3T，下载链接：https://robomongo.org/download

三、python安装MongoDB

pip install pymongo -i http://pypi.douban.com/simple --trusted-host pypi.douban.com

四、python操作MongoDB

4.1 连接MongoDB

import pymongo

mongo_host = "localhost"
mongo_db = "mydb"
mongo_table = "people_info"

# 连接MongoDB
client = pymongo.MongoClient(mongo_host)
db = client[mongo_db] #使用mydb数据库，或者client.mydb,没有则创建
table = db[mongo_table] #创建表（集合），或db.people_info

4.2 往MongoDB插入一条数据

info = {
    "name": "耗子尾汁",
    "age": 20,
    "sex":"girl",
    "address":"北京海淀"
}

table.insert(info)

4.3 往MongoDB插入多条数据

results = {
    "chinese": "优秀",
    "English": "良好",
    "math":"不及格",
    "history":"优秀",
    "political":"优秀",
    "geographic":"极差"
}

table.insert([info,results])

 4.4 查询数据

# 查询一条数据
res = table.find_one({'sex':'girl'})
print(res) #{'_id': ObjectId('5fdc76e1404d12a17a0c438a'), 'name': '耗子尾汁', 'age': 20, 'sex': 'girl', 'address': '北京海淀'}

# 查询全部数据
results = table.find()
print(type(results)) #<class 'pymongo.cursor.Cursor'>
for i in table.find():
    print(i)

4.5 更新数据

# 把sex:girl改为boy,第一个大括号里为更新条件，第二个大括号为更新之后的内容
table.update({"sex":"girl"},{"$set":{"sex":"boy"}})

4.6 删除数据

1 # 删除集合table中的所有数据
2 table.remove()
3 
4 # 删除sex=girl的记录
5 table.remove({"sex":"girl"})
6 
7 # 删除全部数据，包括数据库名和表，慎重使用这个
8 # table.drop()

五、封装python操作MongoDB

import pymongo
import sys

class ConnectMongo(object):

    def __init__(self,host="localhost",db='mydb',):
        self.__host = host
        self.__db = db
        try:
            client = pymongo.MongoClient(self.__host)
            self.db = client[self.__db]
        except Exception as e:
            print(e)

    def use_collection(self,collection):
        try:
            collect_table = self.db[collection]
        except Exception as e:
            print(e)
        else:
            return collect_table

    def insert_one_data(self,data,collection):
        """
        :param data: 插入的数据
        :param collection: 插入集合
        :return:
        """
        try:
            self.use_collection(collection).insert_one(data)
        except Exception as e:
            print(e)

    def insert_many_data(self,documents,collection):
        """
        :param args: 插入多条数据
        :param collection:
        :return:
        """
        if not isinstance(documents,list):
            raise TypeError("参数必须是一个非空的列表")
        for item in documents:
           try:
                self.use_collection(collection).insert_many([item])
           except Exception as e:
                print(e)
                return None

    def query_one_data(self,query_parame,collection):
        "查询一条数据"
        if not isinstance(query_parame,dict):
            raise TypeError("查询参数必须为dict类型")
        try:
           res = self.use_collection(collection=collection).find_one(query_parame)
           return res
        except Exception as e:
            print(e)

    def query_all_data(self,collection,query_parame=None,limit_num = sys.maxsize):
        "查询多条数据"
        table = self.use_collection(collection)
        if query_parame is not None:
            if not isinstance(query_parame,dict):
                raise TypeError("查询参数必须为dict类型")
        try:
            query_results = table.find(query_parame).limit(limit_num)# limit限制结果集查询数量
            res_list = [res for res in query_results]
            return res_list
        except Exception:
            return None

    def update_collection(self,query_conditions,after_change,collection):
        """
        :param query_conditions: 目标参数
        :param after_change: 需要更改的数据
        """
        if not isinstance(query_conditions,dict) or not isinstance(after_change,dict):
            raise TypeError("参数必须为dict类型")
        res = self.query_one_data(query_conditions,collection)
        if res is not None:
            try:
                self.use_collection(collection).update_one(query_conditions,{"$set":after_change})
            except Exception as e:
                print(e)
                return None
        else:
            print("查询条件不存在")

    def delete_collection(self,search,collection):
        "删除一条数据"
        if not isinstance(search,dict):
            raise TypeError("参数必须为dict类型")
        try:
            self.use_collection(collection).delete_one(search)
        except Exception as e:
            print(e)

    def delete_many_collection(self,search,collecton):
        try:
            self.use_collection(collecton).delete_many(search)
        except Exception as e:
            return None

    def drop_collection(self,collection):
        "删除集合"
        try:
            self.use_collection(collection).drop()
            print("delete success")
        except Exception:
            return None