使用PyMongo访问需要认证的MongoDB

Windows 10家庭中文版，Python 3.6.4，PyMongo 3.7.0，MongoDB 3.6.3，Scrapy 1.5.0，

前言

在Python中，使用PyMongo访问MongodB，作者Mike Dirolf，维护人员Bernie Hackett <bernie@mongodb.com>，相关链接如下：

-PyPI官网

-GitHub官网

-最新版本3.7.0文档

说明，关于文档，可以从GitHub下载PyMongo（需要安装sphinx先），然后自行编译文档。

说明，PyMongo还有一些附属包，以提供与MongoDB服务器匹配的功能，比如TLS / SSL、GSSAPI、srv、wire protocol compression with snappy等，大家可以根据需要安装。

本文介绍使用PyMongo访问需要认证的MongoDB，包括从IDLE、Scrapy爬虫程序来访问。

参考官文：PyMongo Authentication Examples（可以直接阅读官文，忽略本文剩余部分，）

本地MongoDB服务器介绍

打开MongoDB服务器：

mongod --dbpath d:pmdb2dir --logpath d:pmdb2dirlog --logappend --auth --directoryperdb

目前存在数据库globalnews，里面有集合news，news里面的每条文档包含title、url两个属性，目前集合news中有33条文档，存在用户reporter，密码为222222。

使用IDLE访问

使用Scrapy爬虫程序

在Scrapy项目的settings.py中配置MongoDB配置项，并启用相关Item Pipelines：

MongoDBPipeline源码如下：

import pymongo

class MongoDBPipeline(object):
    '''
    将项目抓取到的数据（title、url、response.body）保存到MongoDB中。
    目标数据库：配置文件中又MDB_URI、MDB_NAME定义
    目标数据集：news，由本类定义
    '''
    
    # 目标数据集
    coll_name = 'news'
    
    def __init__(self, mongo_uri, mongo_db):
        self.mongo_uri = mongo_uri
        self.mongo_db = mongo_db
        
        # debug
        print('mongo_uri = ', self.mongo_uri)
        print('mongo_db = ', self.mongo_db)
    
    # 获取配置文件中的MDB_URI、MDB_NAME两个属性
    @classmethod
    def from_crawler(cls, crawler):
        return cls(
            mongo_uri = crawler.settings.get('MDB_URI'),
            mongo_db = crawler.settings.get('MDB_NAME', 'news') # 没有就返回news
        )
    
    # 启动spider时，建立数据库连接
    def open_spider(self, spider): # 没有指定监控哪个spider？
        self.client = pymongo.MongoClient(self.mongo_uri)
        self.db = self.client[self.mongo_db]
    
    # 关闭spider时，关闭数据库连接
    def close_spider(self, spider):
        self.client.close()
    
    # 将抓取到的Item存储到MongoDB中
    def process_item(self, item, spider):
        
        self.db[self.coll_name].insert_one(dict(item)) # 
        return item

在终端执行爬虫程序：

scrapy crawl -a user_agent="Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36" wdcpost

执行结果：集合news中成功增加了多条文档，达到了33条。

后记

从网站到爬虫，从爬虫【安全地】到MongoDB数据库，数据通路已经安全打开，请继续！嘿

还需要补足使用PyMongo操作MongoDB的更多操作，需要全部了解、常用熟悉、部分精通，知道哪里找，找到知道怎么用！

Scrapy爬虫程序是在virtualenv中执行的，居然也可以写到主机的MongoDB数据库中，有意思！

好好想想接下来怎么做，上云（OH, MYSELF! MONEY！）要怎么弄~