实现MongoDB数据库的简单操作

一，先来介绍MongoDB的简单知识，请点击先下面链接

https://www.cnblogs.com/liyanyinng/p/10922204.html

二，测试MongoDB

下面以中国最好大学排名为例，从网上爬取数据并存为csv文件

# -*- coding: UTF-8 -*-
import requests
import pandas as pd
from bs4 import BeautifulSoup
allUniv=[]                          #建立二维数组储存
def getHTMLText(url):               #获取网页Text内容
    try:
        r=requests.get(url,timeout=30)
        r.raise_for_status()
        r.encoding='utf-8'
        return r.text
    except:
        return ""
def fillUnivList(soup):             #寻找单个大学的数据
    data=soup.find_all('tr')        #寻找一行的开头
    for tr in data:
        ltd=tr.find_all('td')       #寻找一格
        if len(ltd)==0:
            continue
        singleUniv=[]
        for td in ltd:               #对每格数据进行存储
            singleUniv.append(td.string)
        allUniv.append(singleUniv)
        text=pd.DataFrame(allUniv)
        text.to_excel("D:\CFUB.xlsx",encoding="GBK")
def printUnivList(num):            #输出数据兼格式
    print("{1:^2}{2:{0}^10}{3:{0}^6}{4:{0}^4}{5:{0}^10}"
          .format(chr(12288),"排名","学校名称","省市","总分","培养规模"))
    for i in range(num):
        u=allUniv[i]           
        print("{1:^4}{2:{0}^10}{3:{0}^5}{4:{0}^8.1f}{5:{0}^10}".format
             (chr(12288),u[0],u[1],u[2],eval(u[3]),u[6])) 
def main(num):     #{}里表示占用多少个字符
    url='http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html'
    html=getHTMLText(url)
    soup=BeautifulSoup(html,"html.parser")
    fillUnivList(soup)
    printUnivList(num)
main(50)

再来看看效果：

2、把爬取到的数据存入MongoDB数据库

from bs4 import BeautifulSoup
import pandas as pd
import pymongo
import requests
def getHTMLText(url):               #获取网页Text内容
    try:
        r=requests.get(url,timeout=30)
        r.raise_for_status()
        r.encoding='utf-8'
        return r.text
    except:
        return ""
    
def fillUnivList(soup):             #寻找单个大学的数据
    data=soup.find_all('tr')        #寻找一行的开头
    for tr in data:
        ltd=tr.find_all('td')       #寻找一格
        if len(ltd)==0:
            continue
        singleUniv=[]
        for td in ltd:               #对每格数据进行存储
            singleUniv.append(td.string)
        save_list_to_Mongodb(singleUniv)

def client_Mongodb(port, path):
    myclient = pymongo.MongoClient(host='localhost', port=port)  # 连接
    my_set = myclient.path  # 连接path,如果没有则创建一个数据库
    return my_set

def save_mongo(result):
    myclient = pymongo.MongoClient(host='localhost', port=27017)
    my_set = myclient.CFUS
    try:
        if my_set.product.insert_one(result): #如果保存成功
            pass#print("数据保存成功")
    except Exception:
        print("数据保存失败")

def save_list_to_Mongodb(lists):
    my_set = client_Mongodb(27017, 'CFUS')
    product = {
        '排名': lists[0],
        '学校名称': lists[1],
        '省份': lists[2],
        '总分': lists[3],
        '生源质量（新生高考成绩得分）': lists[4],
        '培养结果（毕业生就业率': lists[5],
        '社会声誉（社会捐赠收入·千元': lists[6],
        '科研规模（论文数量·篇）': lists[7],
        '科研质量（论文质量·FWCI）': lists[8],
        '顶尖成果（高被引论文·篇）': lists[9],
        '顶尖人才（高被引学者·人）': lists[10],
        '科技服务（企业科研经费·千元': lists[11],
        '成果转化（技术转让收入·千元）': lists[12],
        '学生国际化（留学生比例）': lists[13],
        }  # 字典类型数据
    save_mongo(product)

def main():
    url = 'http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html'
    html = getHTMLText(url)
    soup = BeautifulSoup(html, "html.parser")
    fillUnivList(soup)
    print("完成")
    for i in pymongo.MongoClient(host='localhost', port=27017).University.ranking.product.find():
        print(i)  # 输出
main()

再来查看期效果：

如此，爬取的数据就存进了数据库了

4、对数据库的数据进行提取

可在上面的代码中追加下面的代码，即可按照指定的信息提取数据

myquery = {"学校名称": "广东技术师范大学"}
for i in pymongo.MongoClient(host='localhost', port=27017).CFUS.product.find(myquery):
    print(i)

查看效果：

 再追加下面代码，其实就是修改了信息

myquery = {"省份": "广东"}
for i in pymongo.MongoClient(host='localhost', port=27017).CFUS.product.find(myquery):
    print(i)

查看效果：

这样就可以完成对数据库的一些操作了