zoukankan      html  css  js  c++  java
  • mongo 3.4分片集群系列之八:分片管理

    这个系列大致想跟大家分享以下篇章:

    1、mongo 3.4分片集群系列之一:浅谈分片集群

    2、mongo 3.4分片集群系列之二:搭建分片集群--哈希分片

    3、mongo 3.4分片集群系列之三:搭建分片集群--哈希分片 + 安全

    4、mongo 3.4分片集群系列之四:搭建分片集群--哈希分片 + 安全 + 区域

    5、mongo 3.4分片集群系列之五:详解平衡器

    6、mongo 3.4分片集群系列之六:详解配置数据库

    7、mongo 3.4分片集群系列之七:配置数据库管理

    8、mongo 3.4分片集群系列之八:分片管理

     

     

    这篇为实践篇。

    这篇主要分4部分:

              1)  添加分片到一个集群中

              2)  在现有的分片集群移除一个分片

              3)  迁移一个分片集群到不同的硬盘上

              4)  查看集群配置

    在开展这篇实践篇之前,先说明一下现有集群的架构;

    用两个虚拟机模仿两台服务器(真实服务器也按照这个方法实践,可以行得通)。

    IP分别为192.168.209.155和192.168.209.156。其中,这两个IP之间必须互通。即192.168.209.155可以ping通192.168.209.156,192.168.209.156也可以ping通192.168.209.155。

    配置大致如下:(此操作是建立在mongo3.4版本)

    名称

    主机

    端口

    副本集

    Data路径

    Log路径

    Router1

    192.168.209.155

    6666

    Router2

    192.168.209.156

    6666

    lConfig1

    192.168.209.155

    6000

    mongo_config

    /mongo_config1/data

    /mongo_config1/log

    Config2

    6001

    /mongo_config2/data

    /mongo_config2/log

    Config3

    6002

    /mongo_config3/data

    /mongo_config3/log

    Shard1

    192.168.209.155

    6100

    /mongo_shard1/data

    /mongo_shard1/log

    Shard2

    192.168.209.155

    6101

    /mongo_shard2/data

    /mongo_shard2/log

    Shard4

    192.168.209.156

    6100

    /mongo_shard4/data

    /mongo_shard4/log

    1、 添加分片到一个集群中(在192.168.209.155操作)

    注意事项:

    要添加的分片在192.168.209.155上,端口是6102

    1)     为新分片创建文件夹,并创建配置文件

    # mkdir –p /mongo_shard3/data

    # mkdir –p /mongo_shard3/log

    # vim /mongo_shard3/mongo_shard3_secure.conf

    配置文件mongo_shard3_secure.conf内容如下:

         

    2)     启动新分片

      # mongod –fork –config /mongo_shard3/mongo_shard3_secure.conf

    3)     连接任何一个mongos实例

      # mongo –port 6666

    4)     添加分片

      Use admin;

      Sh.addShard(“192.168.209.156:6100”);

    2、 在现有的分片集群移除一个分片(在192.168.209.155操作)

    注意事项:

    删除分片,对于mongo,并不是简单的断开分片集群和分片之间的连接。而是,先把要删除的分片中的块,迁移到其他分片中,然后,才会断开分片与集群之间的连接。以上说的过程是通过一个命令运行,然后mongo系统性自动运行迁移的。这个过程根据网络容量和数据量,可能需要几分钟到几天才能完成。

    假设,要移除的块是shard0002,主机:192.168.209.155:6102

    1)     确保分片集群的平衡器是启用的

    连接到mongos实例

    # mongo –port 6666

    Sh.status()

    检查balancer: currently enabled: 是否是yes。

         

      若是no,则通过sh.setBalancerState(true)命令启动,启动后,再通过Sh.status()检查平衡器的状态。

    2)     从分片中移除块

    这里已经确定要移除的块的名称是shard0002。

    若是不确定,可以通过db.adminCommand( { listShards: 1 } )命令查找出所有分片,然后明确要移除块的分片名称是什么。

    Use admin;

    db.runCommand( { removeShard: "shard0002" } )

    注意:这个过程根据网络容量和数据量,可能需要几分钟到几天才能完成。

    它会立即返回以下响应,但并不代表移除块已完成。

    {

        "msg" : "draining started successfully",

        "state" : "started",

        "shard" : "shard0002",

        "ok" : 1

    }

    3)     检查迁移的状态,确保分片迁移块完成

    请再次运行以下命令,知道迁移块完成

    Use admin;

    db.runCommand( { removeShard: "shard0002" } )

    这时,该命令会返回以下的响应:

    {

         "msg" : "draining ongoing",

        "state" : "ongoing",

        "remaining" : {

            "chunks" : 42,

            "dbs" : 1

        },

        "ok" : 1

    }

    继续执行removeShard命令检查状态,直到剩余的块数量(remaining.chunks)为0为止。

    4)     移动未分片的数据

    如果分片是集群中一个或多个数据库的主分片,则分片将具有未分片的数据。如果分片不是任何数据库的主分片,请跳到下一个任务, 完成迁移。

    在一个集群中,一个数据库带有未分片的集合,这些集合只会存储在一个分片上。该分片成为该数据库的主分片。(群集中的不同数据库可以有不同的主分片。)

    警告: 在完成分片的块排除之前(即在剩余块的数量还没有为0之前),请勿执行此程序。

    可以在数据库中,用sh,status()命令确定要移除的分片是否是主分片,在返回的结果文档中,databases字段列出了每个数据库及其主分片。

    这里假设分片shard0002上,只有一个数据库products,并且该数据库的主分片刚好是shard0002。现在要将分片shard0002移动到shard0001上。

    使用movePrimary 命令,将数据库移动到另一个分片,这个命令只能一个一个数据库移动。例如,将数据库”products”中所有剩余的未分片数据从 shard0002到shard0001:

      db.runCommand( { movePrimary: "products", to: "shard0001" })

    在MongoDB完成移动所有数据之前,此命令不会返回结果,这可能需要很长时间。此命令的响应将类似于以下内容:

      { "primary" : "shard0001", "ok" : 1 }

    5)     检查状态,确保迁移完全完成

    请再次运行以下命令,确保迁移块完成

    Use admin;

    db.runCommand( { removeShard: "shard0002" } )

    完成时会显示成功消息:

    {

        "msg" : "removeshard completed successfully",

        "state" : "completed",

        "shard" : "shard0002",

        "ok" : 1

    }

    一旦state字段的值“completed”,您可以安全地停止包含mongodb0分片的进程。

    3、迁移一个分片集群到不同的硬盘上(在192.168.209.155和192.168.209.156操作)

    假设要将192.168.209.155上所有分片集群的组件(1个路由,3个配置服务器,2个分片)迁移到192.168.209.156上。(这里的分片是单实例,每一个分片都没有做副本集。分片是否做副本集区别于第(5)步)

    原配置:

    名称

    主机

    端口

    副本集

    Data路径

    Log路径

    Router1

    192.168.209.155

    6666

    Router2

    192.168.209.156

    6666

    Config1

     

    192.168.209.155

    6000

    mongo_config

    /mongo_config1/data

    /mongo_config1/log

    Config2

    6001

    /mongo_config2/data

    /mongo_config2/log

    Config3

    6002

    /mongo_config3/data

    /mongo_config3/log

    Shard1

    192.168.209.155

    6100

    /mongo_shard1/data

    /mongo_shard1/log

    Shard2

    192.168.209.155

    6101

    /mongo_shard2/data

    /mongo_shard2/log

    Shard4

    192.168.209.156

    6100

    /mongo_shard4/data

    /mongo_shard4/log

    迁移后,绿色字体为有变动的

    名称

    主机

    端口

    副本集

    Data路径

    Log路径

    Router1

    192.168.209.156

    6600

    Router2

    192.168.209.156

    6666

    Config1

     

    192.168.209.156

    6000

    mongo_config

    /mongo_config1/data

    /mongo_config1/log

    Config2

    6001

    /mongo_config2/data

    /mongo_config2/log

    Config3

    6002

    /mongo_config3/data

    /mongo_config3/log

    Shard1

    192.168.209.156

    6101

    /mongo_shard1/data

    /mongo_shard1/log

    Shard2

    192.168.209.156

    6102

    /mongo_shard2/data

    /mongo_shard2/log

    Shard4

    192.168.209.156

    6100

    /mongo_shard4/data

    /mongo_shard4/log

    1)     在操作分片集群之前,请先在192.168.209.156上创建对应的文件夹和配置文件。(在192.168.209.156操作)

    2)     禁用平衡器(在192.168.209.155操作)

    连接到mongos实例

    # mongo –port 6666

    sh.stopBalancer()

    3)     单独迁移每一个配置服务器(在192.168.209.155和192.168.209.156操作)

    由于配置服务器有3个,config1(主成员),config2,config3,因此,请执行3次3.1)到3.4)4个步骤。先替换非主成员,最后一个才替换主成员。

    这里用config2为例。

    3.1)  启动替换的配置服务器(在192.168.209.156操作)

      # mongod --fork --config /mongo_config1/mongo_config1_secure.conf

      以上文件是配置服务器的配置文件,如何设置可以参考mongo 3.4分片集群系列之二:搭建分片集群--哈希分片 中3.2中(1)中2)。

    3.2)  将新的配置服务器添加到副本集(在192.168.209.155操作)

    连接到配置服务器的·主成员config1

    # mongo --port 6000

    rs.add(“192.168.209.156:6001”);

    3.3)  关闭替换的成员(在192.168.209.155操作)

    如果更换主成员config1,请先降级主成员,然后再关闭。

    降级主成员(用3.2)的窗口继续操作):

    rs.stepDown();

    关闭替换的成员(例子还是config2):

    # mongo --port 6001

    use admin;

    db.shutdownServer();

    exit;

    3.4)  从配置服务器副本集中删除要替换的成员(在192.168.209.155操作)

    在完成替换配置服务器的初始同步后(也就是新的配置服务器已经完全同步了现在配置服务器)

    连接到配置服务器的·主成员config1

    # mongo --port 6000

    rs.add(“192.168.209.155:6001”);

    4)     重启mongos实例(在192.168.209.155和192.168.209.156操作)

    修改mongos实例的配置服务器,将sharding.configDB设置为新的IP:port 。以192.168.209.156:6666为例。

    原来配置

         

    新配置

         

    5)     迁移分片(在192.168.209.155和192.168.209.156操作)

    这里提供两个方法,一个是参照官方文档的,一个是我用经验试出来的,后者是暴力的解决方法。不过我确实这么干过。在那个迫不得已的时刻,哎,一言道不尽啊。大家可以参考参考,请谨慎操作,仅供学习。

    以移动shard1为例:

    方法一(参照官方文档)

    在192.168.209.156上添加分片shard1.可以参考上面1、添加分片到一个集群中;

    在192.168.209.155上删除分片shard1. 可以参考上面2、在现有的分片集群移除一个分片;

    总之,步骤很多。本人没有亲自实践过分片副本集的移动,这里就不阐述了,若是有需要,请参考官方文档https://docs.mongodb.com/v3.4/tutorial/migrate-sharded-cluster-to-new-hardware/#migrate-the-shards

    方法二(很粗暴的方法,仅一家之言,仅供参考)

    a)      在192.168.209.155上,先关闭shard1的服务;

    b)     将192.168.209.155的shard1对应的文件夹(即/mongo_shard1/)整个文件夹复制到192.168.209.156中,放在/mongo_shard1/

    c)      修改配置数据库

    连接到配置数据库的主节点:

      # mongo –port 6000

      Use config

      db.shards.updateOne({'_id':'shard0000'},{$set:{'host':'192.168.209.156:6101'}})

    d)     在192.168.209.156上,修改新shard1的配置文件

    将原来155的分片的配置文件,从端口6100修改为6101

    e)      在192.168.209.156上,启动新分片shard1

      # mongo --fork --config /mongo_shard1/mongo_shard1_secure.conf

    6)     重启平衡器(在192.168.209.156操作)

    连接到mongos实例

      # mongo –port 6666

      sh.startBalancer()

    4、查看集群配置(在192.168.209.156操作)

    1)     列出数据库,确认是否启用分片

    # mongo –port 6666

    use config

    db.databases.find()

    2)     列出分片

    use admin

    db.runCommand( { listShards : 1 } )

    3)     查看集群详情

    sh,status()

     --------------------------------------- over ------------------------------------------------------

    以上资料,大部分是参考官网的资料,在此表示感谢。

    https://docs.mongodb.com/v3.4/tutorial/add-shards-to-shard-cluster/

    https://docs.mongodb.com/v3.4/tutorial/remove-shards-from-cluster/

    https://docs.mongodb.com/v3.4/tutorial/migrate-sharded-cluster-to-new-hardware/

    https://docs.mongodb.com/v3.4/tutorial/view-sharded-cluster-configuration/

  • 相关阅读:
    贝赛尔曲线实现填充不规则图形,并且随手指运动
    当view为wrap_conten时获取一个view的具体宽高
    Scrapped or attached views may not be recycled
    installation failed with message INSTALL_FAILED_INSUFFICIENT_STORG
    RecycleView设置顶部分割线(记录一个坑)
    Java list.remove( )方法需要注意的地方
    JAVA forname classnotfoundexception 错误
    调用android的getColor()方法出现 java.lang.NoSuchMethodError: android.content.res.Resources.getColor
    JSONObject.parseObject
    设置抓包工具Fiddler的host
  • 原文地址:https://www.cnblogs.com/ddbear/p/8058038.html
Copyright © 2011-2022 走看看