zoukankan      html  css  js  c++  java
  • MongoDB复制原理

    ##mongodb复制(主从服务器数据备份, 一个主服务器可以有很多个从服务器)
    #mongodb的复制至少需要两个节点。其中一个是主节点,负责处理客户端请求,其余的都是从节点,负责复制主节点上的数据。
    
    #1.需要开四个终端, 其中两个用于
    #设置并开启主从服务器, mongod  --bind_ip  "pc的ip地址"  --port  "27018"  --dbpath ./主服务器          --replSet  "rs0"
    #和从服务器 mongod  --bind_ip  "pc的ip地址"  --port  "27019"  --dbpath ./从服务器1  --replSet  "rs0"
    
    #2.然后在另外的两个终端登录主服务器 mongo --host "pc的ip地址" --port "27018"
    #                        和从服务器 mongo --host "pc的ip地址" --port "27019" 
    #3.然后在主服务器进行初始化rs.initiate() 这里的rs是之前--replSet起的名字rs0, 然后就会出现如下提示符:  rs0:PRIMARY>
    #4.添加副本/从服务器, rs.add("pc的ip地址:27019"), 此时从服务器按回车,就会出现如下提示符:  rs0:SECONDARY>
    #5.接下来试试看能不能进行数据备份, 可以在主服务器上插入几个数据:
    #use t1
    #db.t1.insert({"name":"xsk"})
    #然后在从服务器上进行读数据操作, 此时需要输入rs.slaveOk()的命令从服务器才能进行读数据操作
    #use t1
    #db.t1.find()就会出现在主服务器上面insert的数据:
    #rs0:SECONDARY> db.t1.find()
    #{ "_id" : ObjectId("5ab21db6fa42f89133a5e1a9"), "name" : "xsk" }
    #证明数据备份成功
    
    #MongoDB中你只能通过主节点将Mongo服务添加到副本集中, 判断当前运行的Mongo服务是否为主节点可以使用命令db.isMaster() 。
    #MongoDB的副本集与我们常见的主从有所不同,主从在主机宕机后所有服务将停止,而副本集在主机宕机后,副本会接管主节点成为主节点,不会出现宕机的情况。
    

    原文地址: http://blog.csdn.net/xiongmin11397/article/details/53375058

    mongodb的复制至少需要两个节点。其中一个是主节点,负责处理客户端请求,其余的都是从节点,负责复制主节点上的数据。

    mongodb各个节点常见的搭配方式为:一主一从、一主多从。

    主节点记录在其上的所有操作oplog,从节点定期轮询主节点获取这些操作,然后对自己的数据副本执行这些操作,从而保证从节点的数据与主节点一致。

    MongoDB复制结构图如下所示:

    以上结构图总,客户端总主节点读取数据,在客户端写入数据到主节点是, 主节点与从节点进行数据交互保障数据的一致性。

    副本集特征:
    · N 个节点的集群

    · 任何节点可作为主节点

    · 所有写入操作都在主节点上

    · 自动故障转移

    · 自动恢复

    MongoDB副本集设置
    在本教程中我们使用同一个MongoDB来做MongoDB主从的实验, 操作步骤如下:

    1、关闭正在运行的MongoDB服务器。

    现在我们通过指定 --replSet 选项来启动mongoDB。--replSet 基本语法格式如下:

    mongod --port "PORT" --dbpath "YOUR_DB_DATA_PATH" --replSet "REPLICA_SET_INSTANCE_NAME"

    实例
    mongod --port 27017 --dbpath "D:set upmongodbdata" --replSet rs0

    以上实例会启动一个名为rs0的MongoDB实例,其端口号为27017。

    启动后打开命令提示框并连接上mongoDB服务。

    在Mongo客户端使用命令rs.initiate()来启动一个新的副本集。

    我们可以使用rs.conf()来查看副本集的配置

    查看副本集状态使用 rs.status() 命令

    副本集添加成员
    添加副本集的成员,我们需要使用多条服务器来启动mongo服务。进入Mongo客户端,并使用rs.add()方法来添加副本集的成员。

    语法
    rs.add() 命令基本语法格式如下:

    rs.add(HOST_NAME:PORT)

    实例
    假设你已经启动了一个名为mongod1.net,端口号为27017的Mongo服务。 在客户端命令窗口使用rs.add() 命令将其添加到副本集中,命令如下所示:

    rs.add("mongod1.net:27017")>

    MongoDB中你只能通过主节点将Mongo服务添加到副本集中, 判断当前运行的Mongo服务是否为主节点可以使用命令db.isMaster() 。

    MongoDB的副本集与我们常见的主从有所不同,主从在主机宕机后所有服务将停止,而副本集在主机宕机后,副本会接管主节点成为主节点,不会出现宕机的情况。

    MongoDB在不同主机间复制数据库和集合的教程
    MongoDB自带了clone一族JavaScript函数来进行数据的复制,这里我们总结了MongoDB在不同主机间复制数据库和集合的教程,列举出了一些主从复制操作中常用的重要函数:

    1. db.cloneCollection()
      db.cloneCollection(from, collection, query)
      在不同的mongodb实例间复制数据,db.cloneCollection是cloneCollection数据库命令的一个外在体现。
    function (from, collection, query) {
    
     assert( isString(from) && from.length );
    
     assert( isString(collection) && collection.length );
    
     collection = this._name + "." + collection;
    
     query = query || {};
    
     return this._dbCommand( { cloneCollection:collection, from:from, query:query
    
    } );
    
    }
    

    参数:

    from  string  包含需要复制的表的mongodb实例主机名
    
    collection string  数据实例中需要复制的表名,该命令只可以复制远程mongodb实例上相同数据库名称的表
    
    query  document 可选的选项。标准的查询语句过滤掉不需要的文档
    

    db.cloneCollection()不允许通过mongos来复制表,只能通过mongod实例来操作。
    示例:
    192.168.11.51 mongod实例mydb库,bar集合:

    { "_id" : ObjectId("53687d9df433cf04b788c6d1"), "name" : "dog" }
    
    { "_id" : ObjectId("53687ff1f433cf04b788c6d2"), "name" : "cat" }
    
    { "_id" : ObjectId("53687ff4f433cf04b788c6d3"), "name" : "tiger" }
    
    本地mongod实例mydb库,复制远程主机的bar集合中满足查询条件的文档:
    
    db.cloneCollection("192.168.11.52", "bar", {"name" : "tiger"})
    
    db.bar.find();
    
    { "_id" : ObjectId("53687ff4f433cf04b788c6d3"), "name" : "tiger" }
    
    2. db.cloneDatabase()
    db.cloneDatabase("hostname")
    复制远程主机的数据库到本地,该命令假设远程mongodb实例中拥有与本地相同的数据库名称。
    
    hostname  string  包含需要复制的数据库的mongodb实例主机名
    
    db.cloneDatabase是clone数据库命令的一个外在体现。
    
    function (from) {
    
     assert( isString(from) && from.length );
    
     return this._dbCommand( { clone: from } );
    
    }
    
    示例:
    192.168.11.51 mongod实例mydb库,
    本机mongodb实例:
    
    use mydb
    
    db.dropDatabase();
    
    db.cloneDatabase("192.168.11.52");
    
    3. db.copyDatabase()
    db.copyDatabase(fromdb, todb, fromhost, username, password)
    从远程主机复制数据库到本地,或从本地复制数据库到远程主机。
    db.copyDatabase是copydb数据库命令的一个外在体现。
    
    function (fromdb, todb, fromhost, username, password) {
    
     assert( isString(fromdb) && fromdb.length );
    
     assert( isString(todb) && todb.length );
    
     fromhost = fromhost || "";
    
     if ( username && password ) {
    
      var n = this._adminCommand( { copydbgetnonce : 1, fromhost:fromhost } );
    
     
    
      return this._adminCommand( { copydb:1, fromhost:fromhost, fromdb:fromdb,
    
     todb:todb, username:username, nonce:n.nonce, key:this.__pwHash( n.nonce, userna
    
    me, password ) } );
    
     } else {
    
      return this._adminCommand( { copydb:1, fromhost:fromhost, fromdb:fromdb,
    
     todb:todb } );
    
     }
    
    }
    
    参数:
    
    fromdb  string  源数据库名称
    
    todb  string  目标数据库名称
    
    fromhost string  可选项,源数据库的主机名。如果是同一主机,忽略该选项
    
    username string  可选项,源主机名用户名
    
    password string  可选项,源主机名用户名对应密码
    
    属性:
    (1)db.copyDatabase()运行在目标主机的mongod实例上。
    (2)db.copyDatabase()会创建目标数据库,如果其原来不存在。
    (3)db.copyDatabase()需要目标机器上有足够的空间进行复制。
    (4)db.copyDatabase()并不会产生目标数据库的即时快照。如果在复制过程中在源或目标库发生读写操作,会导致数据库不一致。
    (5)db.copyDatabase()在操作过程中并不会锁住目标主机,所以复制过程中可能出现暂时的中断来完成其他操作。
    源数据库(fromdb):
    mongodb2.6需要在源主机和目标主机拥有以下权限来执行copydb。
    (1)如果源主机数据库不是admin,必须确保拥有以下权限:
    { resource: { db: "mySourceDB", collection: "" }, actions: [ "find" ] }
    { resource: { db: "mySourceDB", collection: "system.js" }, actions: [ "find" ] }
    如果源主机是一台远程主机,必须确保拥有以下权限:
    
    { resource: { db: "mySourceDB", collection: "system.indexes" }, actions: [ "find" ] }
    
    { resource: { db: "mySourceDB", collection: "system.namespaces" }, actions: [ "find" ] }
    
    (2)如果源主机数据库是admin,必须确保拥有以下权限:
    
    { resource: { db: "admin", collection: "" }, actions: [ "find" ] }
    
    { resource: { db: "admin", collection: "system.js" }, actions: [ "find" ] }
    
    { resource: { db: "admin", collection: "system.users" }, actions: [ "find" ] }
    
    { resource: { db: "admin", collection: "system.roles" }, actions: [ "find" ] }
    
    { resource: { db: "admin", collection: "system.version" }, actions: [ "find" ] }
    
    如果源主机是一台远程主机,必须确保拥有以下权限:
    
    { resource: { db: "admin", collection: "system.indexes" }, actions: [ "find" ] }
    
    { resource: { db: "admin", collection: "system.namespaces" }, actions: [ "find" ] }
    
    (3)源数据库在远程主机
    如果从一个拥有用户认证的远程主机复制数据库,需要一个拥有恰当的权限的用户认证。
    目标数据库(todb):
    A、如果目标主机数据库不是admin,必须确保拥有以下权限:
    
    { resource: { db: "myTargetDB", collection: "" }, actions: [ "insert", "createIndex" ] }
    
    { resource: { db: "myTargetDB", collection: "system.js" }, actions: [ "insert" ] }
    
    B、如果目标主机数据库是admin,必须确保拥有以下权限:
    
    resource: { db: "myTargetDB", collection: "" }, actions: [ "insert", "createIndex" ] },
    
    { resource: { db: "myTargetDB", collection: "system.js" }, actions: [ "insert" ] },
    
    { resource: { db: "myTargetDB", collection: "system.users" }, actions: [ "insert" ] },
    
    { resource: { db: "myTargetDB", collection: "system.roles" }, actions: [ "insert" ] },
    
    { resource: { db: "myTargetDB", collection: "system.version" }, actions: [ "insert" ] }
    
    示例:
    192.168.11.51 mongod实例mydb库,
    复制到本地newmydb库:
    
    db.copyDatabase("mydb", "newmydb", "192.168.11.52");
    
    4. cloneCollection
    从远程mongodb实例复制集合到当前mongodb实例。集合名称是一致的:
    
    { cloneCollection: "<namespace>", from: "<hostname>", query: { <query> } }
    
    cloneCollection拥有以下的域值:
    
    cloneCollection  string  集合的命名空间,命名空间包含了数据库名和集合名的组合
    
    from    string  指定远程主机名和可选的端口号
    
    query    document  可选的,过滤选项
    
    示例:
    192.168.11.51 mongod实例mydb库,bar集合:
    
    { "_id" : ObjectId("53687d9df433cf04b788c6d1"), "name" : "dog" }
    
    { "_id" : ObjectId("53687ff1f433cf04b788c6d2"), "name" : "cat" }
    
    { "_id" : ObjectId("53687ff4f433cf04b788c6d3"), "name" : "tiger" }
    
    本地mongod实例:
    
    db.runCommand({cloneCollection : "mydb.bar", from : "192.168.11.52:27017", query : {"name" : "tiger"}})
    
    use mydb
    
    db.bar.find()
    
    { "_id" : ObjectId("53687ff4f433cf04b788c6d3"), "name" : "tiger" }
    
    cloneCollectionAsCapped可以利用数据库中存在的非cpped集合创建出一个新的capped集合,操作对原来的集合没有副作用。
    指令的语法:
    { cloneCollectionAsCapped: <existing collection>, toCollection: <capped collection>, size: <capped size> }
    新集合名称在数据库中是独一无二的,如果要把一个已经存在的正常集合转变为cpped集合,可以使用convertToCapped命令,在复制过程中,cloneCollectionAsCapped指令呈现出以下行为:
    mongodb会已自然顺序遍历集合中的文档。
    如果size小于先前集合的尺寸,会以FIFO规则删除早先的文档。
    实例:
    
    db.runCommand({cloneCollectionAsCapped : "bar", toCollection : "barone", size : 100})
    
    db.barone.isCapped();
    
     
    
    true
    
    5. clone
    clone命令从远程服务器mongodb实例复制一个数据库到当前的mongodb实例,形式如下:
    
    { clone: "db1.example.net:27017" }
    
    需要注意的几点:
    (1)clone不能去操作slave节点或副本集的非主节点。
    (2)clone并不支持数据库快照功能,如果有客户端对数据更新过了,可能造成结果不一致。
    (3)clone命令必须运行在目标节点上。
    (4)clone过程中,目标主机没有锁定,所以复制过程中可能出现暂时的中断来完成其他操作。
    
    6. copydb
    从远程主机复制数据库到本地,或从本地复制数据库到远程主机。
    在本地admin库里运行以下命令语法:
    { copydb: 1,
    
     fromhost: <hostname>,
    
     fromdb: <database>,
    
     todb: <database>,
    
     slaveOk: <bool>,
    
     username: <username>,
    
     nonce: <nonce>,
    
     key: <key> }
    
    选项:
    
    fromhost  string  运行mongodb实例的远程源主机,如果是本地可以忽略
    
    fromdb   string  源数据库名称
    
    todb   string  目标数据库名称
    
    slaveOk   boolean  可选的,设置为true,允许从从库复制库
    
    username  string  可选的,远程主机的用户名。
    
    nonce   string  可选的,远程主机的共享密钥
    
    key    string  可选的,远程主机的认证密码哈希
    
    属性:
    (1)copydb()运行在目标主机的mongod实例上。
    (2)copydb()会创建目标数据库,如果其原来不存在。
    (3)copydb()需要目标机器上有足够的空间进行复制。
    (4)copydb()并不会产生目标数据库的即时快照。如果在复制过程中在源或目标库发生读写操作,会导致数据库不一致。
    (5)copydb()在操作过程中并不会锁住目标主机,所以复制过程中可能出现暂时的中断来完成其他操作。
    mongodb2.6需要在源主机和目标主机拥有以下权限来执行copydb。
    (1)如果源主机数据库不是admin,必须确保拥有以下权限:
    
    { resource: { db: "mySourceDB", collection: "" }, actions: [ "find" ] }
    
    { resource: { db: "mySourceDB", collection: "system.js" }, actions: [ "find" ] }
    
    如果源主机是一台远程主机,必须确保拥有以下权限:
    
    { resource: { db: "mySourceDB", collection: "system.indexes" }, actions: [ "find" ] }
    
    { resource: { db: "mySourceDB", collection: "system.namespaces" }, actions: [ "find" ] }
    
    (2)如果源主机数据库是admin,必须确保拥有以下权限:
    
    { resource: { db: "admin", collection: "" }, actions: [ "find" ] }
    
    { resource: { db: "admin", collection: "system.js" }, actions: [ "find" ] }
    
    { resource: { db: "admin", collection: "system.users" }, actions: [ "find" ] }
    
    { resource: { db: "admin", collection: "system.roles" }, actions: [ "find" ] }
    
    { resource: { db: "admin", collection: "system.version" }, actions: [ "find" ] }
    
    如果源主机是一台远程主机,必须确保拥有以下权限:
    
    { resource: { db: "admin", collection: "system.indexes" }, actions: [ "find" ] }
    
    { resource: { db: "admin", collection: "system.namespaces" }, actions: [ "find" ] }
    
    (3)源数据库在远程主机
    如果从一个拥有用户认证的远程主机复制数据库,需要一个拥有恰当的权限的用户认证。
    目标数据库(todb):
    A、如果目标主机数据库不是admin,必须确保拥有以下权限:
    
    { resource: { db: "myTargetDB", collection: "" }, actions: [ "insert", "createIndex" ] }
    
    { resource: { db: "myTargetDB", collection: "system.js" }, actions: [ "insert" ] }
    
    B、如果目标主机数据库是admin,必须确保拥有以下权限:
    
    resource: { db: "myTargetDB", collection: "" }, actions: [ "insert", "createIndex" ] },
    
    { resource: { db: "myTargetDB", collection: "system.js" }, actions: [ "insert" ] },
    
    { resource: { db: "myTargetDB", collection: "system.users" }, actions: [ "insert" ] },
    
    { resource: { db: "myTargetDB", collection: "system.roles" }, actions: [ "insert" ] },
    
    { resource: { db: "myTargetDB", collection: "system.version" }, actions: [ "insert" ] }
    
    认证:
    如果远程主机需要安全认证,则需要使用username,nonce和key进行认证。
    nonce是一个一次性的密码,通过运行copydbgetnonce命令:
    
    use admin
    
    mynonce = db.runCommand( { copydbgetnonce : 1, fromhost: <hostname> } ).nonce
    
    如果直接在远程主机运行copydbgetnonce命令,可以忽略fromhost选项。
    如下生成一个哈希键:
    
    hex_md5(mynonce + username + hex_md5(username + ":mongo:" + password))
    
    副本集:设置slaveOk为true,可以在从节点运行copydb。
    分片集:不要在mongos实例上运行copydb;不要复制包含分片集合的库。
    
    实例:
    (1)运行在同一主机上的copydb
    
    (2)从远程主机复制的copydb
    db._adminCommand({
    
     copydb : 1,
    
     fromdb : "mydb",
    
     todb : "mydbtwo",
    
     formhost : "192.168.11.52"
    
    })
    
    { "ok" : 1 }
    
    (3)从需要安全验证的远程主机复制的copydb远程主机建立用户test:caoqing/mydb
    
    use admin
    
    mynonce = db.runCommand( { copydbgetnonce : 1, fromhost: "192.168.11.51:27017" } ).nonce
    
    mykey = hex_md5(mynonce + "test" + hex_md5("test" + ":mongo:" + "caoqing"))
    
    db._adminCommand({
    
     copydb: 1,
    
     fromdb: "mydb",
    
     todb: "mydbthree",
    
     fromhost: "192.168.11.51",
    
     username: "test",
    
     nonce: mynonce,
    
     key: mykey
    
    })
    
    { "ok" : 1 }
    
     
    
    MongoDB在不同主机间复制数据库和集合的教程
    MongoDB自带了clone一族JavaScript函数来进行数据的复制,这里我们总结了MongoDB在不同主机间复制数据库和集合的教程,列举出了一些主从复制操作中常用的重要函数:
    
    1. db.cloneCollection()
    db.cloneCollection(from, collection, query)
    在不同的mongodb实例间复制数据,db.cloneCollection是cloneCollection数据库命令的一个外在体现。
    
    function (from, collection, query) {
    
     assert( isString(from) && from.length );
    
     assert( isString(collection) && collection.length );
    
     collection = this._name + "." + collection;
    
     query = query || {};
    
     return this._dbCommand( { cloneCollection:collection, from:from, query:query
    
    } );
    
    }
    
    参数:
    
    from  string  包含需要复制的表的mongodb实例主机名
    
    collection string  数据实例中需要复制的表名,该命令只可以复制远程mongodb实例上相同数据库名称的表
    
    query  document 可选的选项。标准的查询语句过滤掉不需要的文档
    
    db.cloneCollection()不允许通过mongos来复制表,只能通过mongod实例来操作。
    示例:
    192.168.11.51 mongod实例mydb库,bar集合:
    
    { "_id" : ObjectId("53687d9df433cf04b788c6d1"), "name" : "dog" }
    
    { "_id" : ObjectId("53687ff1f433cf04b788c6d2"), "name" : "cat" }
    
    { "_id" : ObjectId("53687ff4f433cf04b788c6d3"), "name" : "tiger" }
    
    本地mongod实例mydb库,复制远程主机的bar集合中满足查询条件的文档:
    
    db.cloneCollection("192.168.11.52", "bar", {"name" : "tiger"})
    
    db.bar.find();
    
    { "_id" : ObjectId("53687ff4f433cf04b788c6d3"), "name" : "tiger" }
    
    2. db.cloneDatabase()
    db.cloneDatabase("hostname")
    复制远程主机的数据库到本地,该命令假设远程mongodb实例中拥有与本地相同的数据库名称。
    
    hostname  string  包含需要复制的数据库的mongodb实例主机名
    
    db.cloneDatabase是clone数据库命令的一个外在体现。
    
    function (from) {
    
     assert( isString(from) && from.length );
    
     return this._dbCommand( { clone: from } );
    
    }
    
    示例:
    192.168.11.51 mongod实例mydb库,
    本机mongodb实例:
    
    use mydb
    
    db.dropDatabase();
    
    db.cloneDatabase("192.168.11.52");
    
    3. db.copyDatabase()
    db.copyDatabase(fromdb, todb, fromhost, username, password)
    从远程主机复制数据库到本地,或从本地复制数据库到远程主机。
    
    db.copyDatabase是copydb数据库命令的一个外在体现。
    
    function (fromdb, todb, fromhost, username, password) {
    
     assert( isString(fromdb) && fromdb.length );
    
     assert( isString(todb) && todb.length );
    
     fromhost = fromhost || "";
    
     if ( username && password ) {
    
      var n = this._adminCommand( { copydbgetnonce : 1, fromhost:fromhost } );
    
     
    
      return this._adminCommand( { copydb:1, fromhost:fromhost, fromdb:fromdb,
    
     todb:todb, username:username, nonce:n.nonce, key:this.__pwHash( n.nonce, userna
    
    me, password ) } );
    
     } else {
    
      return this._adminCommand( { copydb:1, fromhost:fromhost, fromdb:fromdb,
    
     todb:todb } );
    
     }
    
    }
    
    参数:
    
    fromdb  string  源数据库名称
    
    todb  string  目标数据库名称
    
    fromhost string  可选项,源数据库的主机名。如果是同一主机,忽略该选项
    
    username string  可选项,源主机名用户名
    
    password string  可选项,源主机名用户名对应密码
    
    属性:
    (1)db.copyDatabase()运行在目标主机的mongod实例上。
    (2)db.copyDatabase()会创建目标数据库,如果其原来不存在。
    (3)db.copyDatabase()需要目标机器上有足够的空间进行复制。
    (4)db.copyDatabase()并不会产生目标数据库的即时快照。如果在复制过程中在源或目标库发生读写操作,会导致数据库不一致。
    (5)db.copyDatabase()在操作过程中并不会锁住目标主机,所以复制过程中可能出现暂时的中断来完成其他操作。
    源数据库(fromdb):
    mongodb2.6需要在源主机和目标主机拥有以下权限来执行copydb。
    (1)如果源主机数据库不是admin,必须确保拥有以下权限:
    { resource: { db: "mySourceDB", collection: "" }, actions: [ "find" ] }
    { resource: { db: "mySourceDB", collection: "system.js" }, actions: [ "find" ] }
    如果源主机是一台远程主机,必须确保拥有以下权限:
    
    { resource: { db: "mySourceDB", collection: "system.indexes" }, actions: [ "find" ] }
    
    { resource: { db: "mySourceDB", collection: "system.namespaces" }, actions: [ "find" ] }
    
    (2)如果源主机数据库是admin,必须确保拥有以下权限:
    
    { resource: { db: "admin", collection: "" }, actions: [ "find" ] }
    
    { resource: { db: "admin", collection: "system.js" }, actions: [ "find" ] }
    
    { resource: { db: "admin", collection: "system.users" }, actions: [ "find" ] }
    
    { resource: { db: "admin", collection: "system.roles" }, actions: [ "find" ] }
    
    { resource: { db: "admin", collection: "system.version" }, actions: [ "find" ] }
    
    如果源主机是一台远程主机,必须确保拥有以下权限:
    { resource: { db: "admin", collection: "system.indexes" }, actions: [ "find" ] }
    
    { resource: { db: "admin", collection: "system.namespaces" }, actions: [ "find" ] }
    
    (3)源数据库在远程主机
    如果从一个拥有用户认证的远程主机复制数据库,需要一个拥有恰当的权限的用户认证。
    目标数据库(todb):
    A、如果目标主机数据库不是admin,必须确保拥有以下权限:
    
    { resource: { db: "myTargetDB", collection: "" }, actions: [ "insert", "createIndex" ] }
    
    { resource: { db: "myTargetDB", collection: "system.js" }, actions: [ "insert" ] }
    
    B、如果目标主机数据库是admin,必须确保拥有以下权限:
    
    resource: { db: "myTargetDB", collection: "" }, actions: [ "insert", "createIndex" ] },
    
    { resource: { db: "myTargetDB", collection: "system.js" }, actions: [ "insert" ] },
    
    { resource: { db: "myTargetDB", collection: "system.users" }, actions: [ "insert" ] },
    
    { resource: { db: "myTargetDB", collection: "system.roles" }, actions: [ "insert" ] },
    
    { resource: { db: "myTargetDB", collection: "system.version" }, actions: [ "insert" ] }
    
    示例:
    192.168.11.51 mongod实例mydb库,
    复制到本地newmydb库:
    db.copyDatabase("mydb", "newmydb", "192.168.11.52");
    
    4. cloneCollection
    从远程mongodb实例复制集合到当前mongodb实例。集合名称是一致的:
    
    { cloneCollection: "<namespace>", from: "<hostname>", query: { <query> } }
    
    cloneCollection拥有以下的域值:
    
    cloneCollection  string  集合的命名空间,命名空间包含了数据库名和集合名的组合
    
    from    string  指定远程主机名和可选的端口号
    
    query    document  可选的,过滤选项
    
    示例:
    192.168.11.51 mongod实例mydb库,bar集合:
    
    { "_id" : ObjectId("53687d9df433cf04b788c6d1"), "name" : "dog" }
    
    { "_id" : ObjectId("53687ff1f433cf04b788c6d2"), "name" : "cat" }
    
    { "_id" : ObjectId("53687ff4f433cf04b788c6d3"), "name" : "tiger" }
    
    本地mongod实例:
    
    db.runCommand({cloneCollection : "mydb.bar", from : "192.168.11.52:27017", query : {"name" : "tiger"}})
    
    use mydb
    
    db.bar.find()
    
    { "_id" : ObjectId("53687ff4f433cf04b788c6d3"), "name" : "tiger" }
    
    cloneCollectionAsCapped可以利用数据库中存在的非cpped集合创建出一个新的capped集合,操作对原来的集合没有副作用。
    指令的语法:
    { cloneCollectionAsCapped: <existing collection>, toCollection: <capped collection>, size: <capped size> }
    新集合名称在数据库中是独一无二的,如果要把一个已经存在的正常集合转变为cpped集合,可以使用convertToCapped命令,在复制过程中,cloneCollectionAsCapped指令呈现出以下行为:
    mongodb会已自然顺序遍历集合中的文档。
    如果size小于先前集合的尺寸,会以FIFO规则删除早先的文档。
    实例:
    
    db.runCommand({cloneCollectionAsCapped : "bar", toCollection : "barone", size : 100})
    
    db.barone.isCapped();
    
     
    
    true
    
    5. clone
    clone命令从远程服务器mongodb实例复制一个数据库到当前的mongodb实例,形式如下:
    
    { clone: "db1.example.net:27017" }
    
    需要注意的几点:
    (1)clone不能去操作slave节点或副本集的非主节点。
    (2)clone并不支持数据库快照功能,如果有客户端对数据更新过了,可能造成结果不一致。
    (3)clone命令必须运行在目标节点上。
    (4)clone过程中,目标主机没有锁定,所以复制过程中可能出现暂时的中断来完成其他操作。
    
    6. copydb
    从远程主机复制数据库到本地,或从本地复制数据库到远程主机。
    在本地admin库里运行以下命令语法:
    
    { copydb: 1,
    
     fromhost: <hostname>,
    
     fromdb: <database>,
    
     todb: <database>,
    
     slaveOk: <bool>,
    
     username: <username>,
    
     nonce: <nonce>,
    
     key: <key> }
    
    选项:
    
    fromhost  string  运行mongodb实例的远程源主机,如果是本地可以忽略
    
    fromdb   string  源数据库名称
    
    todb   string  目标数据库名称
    
    slaveOk   boolean  可选的,设置为true,允许从从库复制库
    
    username  string  可选的,远程主机的用户名。
    
    nonce   string  可选的,远程主机的共享密钥
    
    key    string  可选的,远程主机的认证密码哈希
    
    属性:
    (1)copydb()运行在目标主机的mongod实例上。
    (2)copydb()会创建目标数据库,如果其原来不存在。
    (3)copydb()需要目标机器上有足够的空间进行复制。
    (4)copydb()并不会产生目标数据库的即时快照。如果在复制过程中在源或目标库发生读写操作,会导致数据库不一致。
    (5)copydb()在操作过程中并不会锁住目标主机,所以复制过程中可能出现暂时的中断来完成其他操作。
    mongodb2.6需要在源主机和目标主机拥有以下权限来执行copydb。
    (1)如果源主机数据库不是admin,必须确保拥有以下权限:
    
    { resource: { db: "mySourceDB", collection: "" }, actions: [ "find" ] }
    
    { resource: { db: "mySourceDB", collection: "system.js" }, actions: [ "find" ] }
    
    如果源主机是一台远程主机,必须确保拥有以下权限:
    
    { resource: { db: "mySourceDB", collection: "system.indexes" }, actions: [ "find" ] }
    
    { resource: { db: "mySourceDB", collection: "system.namespaces" }, actions: [ "find" ] }
    
    (2)如果源主机数据库是admin,必须确保拥有以下权限:
    
    { resource: { db: "admin", collection: "" }, actions: [ "find" ] }
    
    { resource: { db: "admin", collection: "system.js" }, actions: [ "find" ] }
    
    { resource: { db: "admin", collection: "system.users" }, actions: [ "find" ] }
    
    { resource: { db: "admin", collection: "system.roles" }, actions: [ "find" ] }
    
    { resource: { db: "admin", collection: "system.version" }, actions: [ "find" ] }
    
    如果源主机是一台远程主机,必须确保拥有以下权限:
    
    { resource: { db: "admin", collection: "system.indexes" }, actions: [ "find" ] }
    
    { resource: { db: "admin", collection: "system.namespaces" }, actions: [ "find" ] }
    
    (3)源数据库在远程主机
    如果从一个拥有用户认证的远程主机复制数据库,需要一个拥有恰当的权限的用户认证。
    目标数据库(todb):
    A、如果目标主机数据库不是admin,必须确保拥有以下权限:
    
    { resource: { db: "myTargetDB", collection: "" }, actions: [ "insert", "createIndex" ] }
    
    { resource: { db: "myTargetDB", collection: "system.js" }, actions: [ "insert" ] }
    
    B、如果目标主机数据库是admin,必须确保拥有以下权限:
    
    resource: { db: "myTargetDB", collection: "" }, actions: [ "insert", "createIndex" ] },
    
    { resource: { db: "myTargetDB", collection: "system.js" }, actions: [ "insert" ] },
    
    { resource: { db: "myTargetDB", collection: "system.users" }, actions: [ "insert" ] },
    
    { resource: { db: "myTargetDB", collection: "system.roles" }, actions: [ "insert" ] },
    
    { resource: { db: "myTargetDB", collection: "system.version" }, actions: [ "insert" ] }
    
    认证:
    如果远程主机需要安全认证,则需要使用username,nonce和key进行认证。
    nonce是一个一次性的密码,通过运行copydbgetnonce命令:
    
    use admin
    
    mynonce = db.runCommand( { copydbgetnonce : 1, fromhost: <hostname> } ).nonce
    
    如果直接在远程主机运行copydbgetnonce命令,可以忽略fromhost选项。
    如下生成一个哈希键:
    hex_md5(mynonce + username + hex_md5(username + ":mongo:" + password))
    
    副本集:设置slaveOk为true,可以在从节点运行copydb。
    分片集:不要在mongos实例上运行copydb;不要复制包含分片集合的库。
    
    实例:
    (1)运行在同一主机上的copydb
    
    (2)从远程主机复制的copydb
    
    db._adminCommand({
    
     copydb : 1,
    
     fromdb : "mydb",
    
     todb : "mydbtwo",
    
     formhost : "192.168.11.52"
    
    })
    
    { "ok" : 1 }
    
    (3)从需要安全验证的远程主机复制的copydb
    远程主机建立用户test:caoqing/mydb
    
    use admin
    
    mynonce = db.runCommand( { copydbgetnonce : 1, fromhost: "192.168.11.51:27017" } ).nonce
    
    mykey = hex_md5(mynonce + "test" + hex_md5("test" + ":mongo:" + "caoqing"))
    
    db._adminCommand({
    
     copydb: 1,
    
     fromdb: "mydb",
    
     todb: "mydbthree",
    
     fromhost: "192.168.11.51",
    
     username: "test",
    
     nonce: mynonce,
    
     key: mykey
    
    })
    
    { "ok" : 1 }
    
    主从库之间利用oplog日志进行同步。oplog存在于主库的local数据库,oplog.$main集合。
    > use local
    
    switched to db local
    
    > db.oplog.$main.find({"op":"i"}).sort({"ts":-1}).pretty()
    
    {
    
      "ts" : Timestamp(1452916694, 1),
    
      "h" : NumberLong(0),
    
      "v" : 2,
    
      "op" : "i",
    
      "ns" : "test.user",
    
      "o" : {
    
        "_id" : ObjectId("5699bfd6647c735cb3a50e0c"),
    
        "name" : "zhangcong"
    
      }
    
    }
    
    {
    
      "ts" : Timestamp(1452913156, 1),
    
      "h" : NumberLong(0),
    
      "v" : 2,
    
      "op" : "i",
    
      "ns" : "test.user",
    
      "o" : {
    
        "_id" : ObjectId("5699b204358c4672cad1cc6e"),
    
        "name" : "zhangdd",
    
        "age" : 30,
    
        "job" : "teacher"
    
      }
    
    }
    
    {
    
      "ts" : Timestamp(1452912530, 1),
    
      "h" : NumberLong(0),
    
      "v" : 2,
    
      "op" : "i",
    
      "ns" : "test.user",
    
      "o" : {
    
        "_id" : ObjectId("5699af920102a61caffb76e9"),
    
        "name" : "vicent",
    
        "age" : 25,
    
        "job" : "teacher"
    
      }
    
    }
    
    {
    
      "ts" : Timestamp(1452912498, 2),
    
      "h" : NumberLong(0),
    
      "v" : 2,
    
      "op" : "i",
    
      "ns" : "test.user",
    
      "o" : {
    
        "_id" : ObjectId("5699af720102a61caffb76e8"),
    
        "name" : "jack",
    
        "age" : 40,
    
        "job" : "moive star"
    
      }
    
    }
    
    该集合属于固定集合。在一定时间后,旧日志会被覆盖。如果日志已经被覆盖,从库还没有来的及同步。那么从库就无法再同步数据了。只有使用--autoresync让其重新同步数据。
    
    备注:命令行参数指定的参数值,可以写到config文件中,启动时使用
    
    mongod --config /path/to/file.conf
    
    mongod 2.4以后的版本使用YAML的格式来编写配置文件。关于主从复制的配置如何在配置文件中声明,官方文件没有给出方法。试了几种写法都不正确。 因为mongodb使用副本集代替了主从复制,从而可能配置文件不再支持主从复制。
    
  • 相关阅读:
    SpringSecurity 3.2入门(8)自定义权限控制数据库设计
    SpringSecurity 3.2入门(7)自定义权限控制介绍
    SpringSecurity 3.2入门(6)简单介绍默认使用的十一个过滤器
    Spring3.2下使用JavaMailSenderImpl类发送邮件
    Java Mail邮件发送的简单实现
    Spring下配置几种常用连接池
    23种设计模式入门之工厂模式
    C# BackgroundWorker的Bug???
    C# BeginInvoke和EndInvoke方法
    c# 高效的线程安全队列ConcurrentQueue
  • 原文地址:https://www.cnblogs.com/nyist-xsk/p/8617597.html
Copyright © 2011-2022 走看看