zoukankan      html  css  js  c++  java
  • Mongo的持久性

      持久性(durability)是操作被提交后可持久保存在数据库中的保证。从完全没有保障到完全保证持久性,MongoDB可高度配置与持久性相关的设定。本章内容包括:

      • MongoDB如何保证持久性;
      • 如何配置应用和服务器,从而获得所需的持久性级别;
      • 运行时关闭日记系统(journaling)可能带来的问题;
      • MongoDB不能保证的事项。

      如磁盘和软件运行正常,则MongoDB能够在系统崩溃或强制关闭后,确保数据的完整性。

      注意:关系型数据库通常使用持久性一词来描述数据库事务(transaction)的持久保存。由于MongoDB并不支持事务(4.0之前不支持),因此该词义在这里有些许不同。

     

    1.日记系统的用途

      MongoDB会在进行写入时建立一条日志(journal),日记中包含了此次写入操作具体更改的磁盘地址和字节。因此,一且服务器突然停机,可在启动时对日记进行重放(replay),从而重新执行那些停机前没能够刷新(flush)到磁盘的写入操作。

      数据文件默认每60秒刷新到磁盘一次,因此日记文件只需记录约60秒的写入数据。 日记系统为此预先分配了若干个空文件,这些文件存放在/data/db/journal目录中,文件名为_j.0、_j.1等。

      长时间运行MongoDB后,日记目录中会出现类似_j.6217、_j.6218和_j.6219的文件。这些是当前的日记文件。文件名中的数字会随着MongoDB运行时间的增长而增大。数据库正常关闭后,日记文件则会被清除(因为正常关闭后就不再需要这些文件了)。

      如发生系统崩溃,或使用kill -9命令强制终止数据库的运行,mongod会在启动时重放日记文件,同时会显示出大量的校验信息。这些信息冗长且难懂,但其存在说明一切都在正常运行。可在开发时运行kill -9命令来终止mongod进程并重新启动,这样在生产环境中,如果发生相同状况,也会明白此时显示哪些信息是正常的。

     

    1.1 批量提交写入操作

      MongoDB默认每隔100毫秒,或是写入数据达到若干兆字节时,便会将这些操作写入日记。这意味着MongoDB会成批量地提交更改,即每次写入不会立即刷新到磁盘。不过在默认设置下,系统发生崩溃时,不可能丢失间隔超过100毫秒的写入数据。

      然而,对于一些应用而言,这一保障还不够牢固,因此可通过若干方式来获得更强有力的持久性保证。可通过向getLastError传递j选项,来确保写入操作的成功。getLastError会等待前一次写入操作写入到日记中,而日记在下一批操作写入前,只会等待30毫秒(而非100毫秒):

    > db.foo.insert({"x" : 1})
    > db.runCommand({"getLastError" : 1, "j" : true})
    > // The {"x" : 1} document is now safely on disk

      注意:这意味着如果在每次写入操作中都使用了 "j":true选项,则写入速度实际上会被限制为每秒33次:

    (1次/30毫秒)x (1000毫秒/秒)=33.3次/秒

      通常将数据刷新到磁盘并不会耗费这么长时间,所以如果允许MongoDB对大部分数据进行批量写入而非每次都单独提交,数据库的性能则会更好。然而,重要的写入操作还是会经常选用此选项。

      提交一次写入操作,会同时提交这之前的所有写入操作。因此,如果有50个重要的写入操作,可使用“普通的” getLastError (不包括j选项),而在最后一次写入后使用含有j选项的getLastError。如果成功的话,就可知道所有50次写入操作都已安全刷新到磁盘上。

      如果写入操作含有很多连接,可通过并发写入,来减少使用j选项所带来的速度开销。此种做法可增加数据吞吐量,但也会增加延迟。

     

    1.2 设定提交时间间隔

      另一个减少日记被干扰几率的选项是,调整两次提交间的时间间隔。运行setParameter命令,设定journalCommitInterval的值(最小为2毫秒,最大为500毫秒)。以下命令使得MongoDB每隔10毫秒便将数据提交到日记中一次:

    > db.adminCommand({"setParameter" : 1, "journalCommitInterval" : 10})

      也可使用命令行选项--journalCommitInterval来设定这一值。

      无论时间间隔设置为多少,使用带有"j" : true的getLastError命令都会将该值减少到原来的三分之一。

      如客户端的写入速度超过了日记的刷新速度,mongod则会限制写入操作,直到日记完成到磁盘的写入。这是mongod会限制写入的唯一情况。

     

    2.关闭日记系统

      对于所有生产环境的部署,都推荐使用日记系统,但有时我们可能需要关闭该系统。即使不附带j选项,日记系统也会影响MongoDB的写入速度。如果写入数据的价值不及写入速度降低带来的损失,我们可能就会想要禁用日记系统。

      禁用日记系统的缺陷在于,MongoDB无法保证发生崩溃后数据的完整性。在没有日记系统的前提下,一旦发生崩溃,那么数据肯定会遭到损坏,从而需要对数据进行修复或替换。这种情况下遭到损坏的数据不应继续投入使用,除非我们不在乎数据库会突然停止工作。

      如果希望数据库在崩溃后能够继续工作,有以下几种做法。

     

    2.1 替换数据文件

      这是最佳选择。删除数据目录中的所有文件,然后获取新文件:可从备份中恢复,使用确保正确的数据库快照,如果是副本集成员的话,也可对其进行初始化同步。如果是一个数据量较小的副本集,重新同步可能是最好的选择,即先停止此成员的运行(如果它还没有停止运行的话),删除数据目录中的所有内容,然后重新启动它。 

     

    2.2 修复数据文件

      如果既没有备份和复制,也没有副本集中的其他成员,则需抢救所有可能的数据。需对数据库使用一个”修复“工具,修复实质上是删除所有受损数据,不过可能不会留有太多完好的数据。

      mongod自带了两种修复工具,一种是mongod内置的,另一种是mongodump内置的。mongodump的修复更加接近底层,可能会找到更多的数据,但耗时要更长(而另一种自带的修复方式也不见得很快)。另外,如使用mongodump的修复,在准备再次启动前,依然需要恢复数据的操作。

      因此,应根据愿意在数据恢复中消耗的时间长短来进行决定。

      要使用mongod内置的修复工具,需附带--repair选项运行mongod:

    $ mongod --dbpath /path/to/corrupt/data --repair

      进行修复时,MongoDB不会开启27017端口的监听,但我们可通过査看日志(log) 的方式得知它正在做什么。注意,修复过程会对数据进行一份完整的复制,所以如有80 GB的数据,则需80 GB的空闲磁盘空间。为尽量解决这一问题,修复工具提供了--repairpath选项。这一选项允许在主磁盘空间不足时挂载一个“紧急驱动器”,并使用它来进行修复操作。--repairpath选项的用法如下:

    $ mongod --dbpath /path/to/corrupt/data 
    > --repair --repairpath /media/external-hd/data/db

      如果修复过程被强行终止,或者出现故障(如磁盘空间不足),至少不会使情况变得更糟。修复工具将所有的输出都写入新的文件中,不会对原有文件进行修改。因此原始数据文件不会比开始修复时变得更糟。

      另一个选择是使用mongodump的--repair选项,就像这样:

    $ mongodump --repair

      这些选择都不是特别好,但它们应该可以让mongod重新运行在一个干净的数据集上。

     

    2.3 关于mongod.lock文件

      数据目录中有一个名为mongod.lock的特殊文件。该文件在关闭日记系统运行时十分重要(如启用了日记系统,则这一文件不会出现)。

      当mongod正常退出时,会清除mongod.lock文件,这样在启动时,mongod就会得知上一次是正常退出的。相反,如果该文件没被清除,mongod就会得知上一次是异常退出的。

      如果mongod监测到上一次是异常退出的,则会禁止再启动,这样我们就会意识到一份干净数据副本的需求。然而,有些人意识到可通过删除mongod.lock文件来启动mongod。请不要这么做。通常,在启动时删除这一文件,意味着我们不知道也不在乎数据是否受损。除非如此,否则请不要这么做。如果mongod.lock文件阻止了 mongod的启动,请对数据进行修复,而非删除该文件。

     

    2.4 隐蔽的异常退出

      不要删除锁文件的另一重要原因在于,我们甚至可能意识不到这是一次异常退出。假设我们需要重启机器进行例行维护。初始化脚本应负责在服务器关闭之前关闭mongod。初始化脚本通常会先尝试正常关闭程序,但如在若干秒后依然没有关闭的话,则会选择强行关闭。在一个繁忙的系统上,MongoDB完全可能耗费30秒来结束运行,正常的初始化脚本不会等待它正常关闭。因此,异常退出的次数可能比我们知道的要多得多。

     

    3.MongoDB无法保证的事项

      在硬件或文件系统出现故障等情况下,MongoDB无法保证操作的持久性。尤其是在硬盘发生损坏的情况下,MongoDB根本无法保证数据安全。

      另外,不同的硬件和软件对于持久性的保障可能有所不同。例如,一些破旧的硬盘会在写入操作还在列队中等待之际,便报告称写入成功。MongoDB无法防止这一层次的误报,如果此时系统崩溃,数据就可能会发生丢失。

      基本上,MongoDB的安全性与其所基于的系统相同,MongoDB无法避免硬件或文件系统导致的数据损坏。可使用副本应对系统问题。如果一台机器发生了故障,还有另一台在正常工作。

     

    4.检验数据损坏

      可使用validate命令,检验集合是否有损坏。如检验名为foo的集合,代码如下:

    > db.foo.validate()
    {
        "ns" : "test.foo",
        "firstExtent" : "0:2000 ns:test.foo",
        "lastExtent" : "1:3eae000 ns:test.foo",
        "extentCount" : 11,
        "datasize" : 75960008,
        "nrecords" : 1000000,
        "lastExtentSize" : 37625856,
        "padding" : 1,
        "firstExtentDetails" : {
            "loc" : "0:2000",
            "xnext" : "0:f000",
            "xprev" : "null",
            "nsdiag" : "test.foo",
            "size" : 8192,
            "firstRecord" : "0:20b0",
            "lastRecord" : "0:3fa0"
        },
        "deletedCount" : 9,
        "deletedSize" : 31974824,
        "nIndexes" : 2,
        "keysPerIndex" : {
            "test.foo.$_id_" : 1000000,
            "test.foo.$str_1" : 1000000
        },
        "valid" : true,
        "errors" : [ ],
        "warning" : "Some checks omitted for speed. use {full:true} 
            option to do more thorough scan.",
        "ok" : 1
    }

      需重点注意的是结尾附近的valid字段,字段值为true。否则,输出内容中会包含找到的数据损坏细节。

      输出中的大部分内容,是有关集合的内部结构信息,于调试而言没有太大用处。

    • firstExtent (首区段)

      该集合首区段(extent)的磁盘偏移量(disk offset)。本例中位于文件test.O处, 字节偏移量(byte offset)为 0x2000。

    • lastExtent (尾区段)

      该集合尾区段的偏移量。本例中位于文件test.1处,字节偏移量为0x3eae000。

    • extentCount

      该集合所占区段数量。

    • lastExtentSize

      最近分配区段的字节数量。区段大小随集合的增长而增长,最大可达2 GB。

    • firstExtentDetails

      描述集合中首区段的子对象。其中包含指向相邻两个区段的指针(xnext和 xprev)、区段的大小(注意,它比尾区段要小得多,通常首区段是很小的),以及指向区段中第一条和最后一条记录(record)的指针。记录是真正承载着文档的结构。

    • deletedCount

      该集合从存在至今,共删除的文档数目。

    • deletedSize

      该集合中空闲列表(freelist),即所有有效空余空间的大小。不仅包括被删除文档所占的空间,还包括已被预分配给该集合的空间。

     

      validate命令只适用于集合,而不适用于索引。因此我们通常无法判断索引是否被损坏,除非遍历检查一遍,即査询每个索引在集合中对应的文档。通过遍历得出的结果即可判断索引是否被损坏。

      如果程序提示了非法的BSON对象(invalidBSONObj), —般说明数据损坏了。最糟糕的错误则是提到了 pdfile的错误。pdfile可以说是MongoDB的数据存储核心,源于pdfile的错误基本说明数据文件已经损坏了。

      如果遇到了数据损坏,则可在日志中看到类似如下内容:

    Tue Dec 20 01:12:09 [initandlisten] Assertion: 10334:
        Invalid BSONObj size: 285213831 (0x87040011) 
        first element: _id: ObjectId('4e5efa454b4ae20fa6000013')

      如果显示的第一个元素已经被废弃,就没什么可做的了。如果第一个元素还是可见的(如上例中的ObjectId),也许可删除损坏文档。可尝试运行:

    > db.remove({_id: ObjectId('4e5efa454b4ae20fa6000013')})

      将其中的 _id 替换为日志中看到的对应_id。注意,如果数据损坏影响的不只是该文档,则这种技术可能不会奏效。这种情况下,我们可能仍需对数据进行修复。

     

    5.副本集中的持久性

      副本章节中,曾讨论过副本集中的投票问题,即一次对副本集的写入操作,在写入副本集中的大多数成员中之前,可能先会进行回滚(rollback)。可将与此相关的选项和之前提到的日记系统的选项结合起来使用:

    > db.runCommand({"getLastError" : 1, "j" : true, "w" : "majority"})

      进行这一操作后,可保证写入操作写入到了主节点和备份节点中,其中只有对主节点的写入可保证持久性。理论上来讲,在进行写入到记录到日记内的100毫秒时间内,多数的服务器同时崩溃也是有可能的,这种情况下数据库会回滚到当前主节点的状态。虽然这是一种极端情况,但也说明其并非是完美的。遗憾的是要解决这一问题并不简单,但目前MongoDB社区正尝试改变这一情况。

    作者:小家电维修

    相见有时,后会无期。

  • 相关阅读:
    安卓第一夜 第一个应用
    为什么要学习Linux
    Android的历史与花边
    来玩Play框架07 静态文件
    来玩Play框架06 用户验证
    来玩Play框架05 数据库
    来玩Play框架04 表单
    来玩Play框架03 模板
    来玩Play框架02 响应
    来玩Play框架01 简介
  • 原文地址:https://www.cnblogs.com/lizexiong/p/15389605.html
Copyright © 2011-2022 走看看