【Mongodb】分片集群

Mongodb Sharded Cluster 分片集群

1 分片概念

分片（sharding）是一种跨多台机器分布数据的方法， MongoDB使用分片来支持具有非常大的数据集和高吞吐量操作的部署。

2 分片集群包含的组件

MongoDB分片群集包含以下组件：

• 分片（存储）：每个分片包含分片数据的子集。 每个分片都可以部署为副本集。
• mongos（路由）：mongos充当查询路由器，在客户端应用程序和分片集群之间提供接口。
• config servers（“调度”的配置）：配置服务器存储群集的元数据和配置设置
  

3 分片集群实战

目标搭建两个分片（每个分片分别是副本集），一个配置副本集（包含3个节点）,路由 （由两个节点组成）
准备3个虚拟机:地址分别是
192.168.40.144, 192.168.40.145, 192.168.40.146

节点	位置
分片1	192.168.40.144:27017,192.168.40.144:27018,192.168.40.144:27019
分片2	192.168.40.145:27017,192.168.40.145:27018,192.168.40.145:27019
配置	192.168.40.146:27017,192.168.40.146:27018,192.168.40.146:27019
路由	192.168.40.146:28001，192.168.40.146:28002

分片搭建

首先分别在144/145虚拟机上面搭建一个可复制集（分别包含3个节点）
如：

systemLog:
  #MongoDB发送所有日志输出的目标指定为文件 
  destination: file
  #mongod或mongos应向其发送所有诊断日志记录信息的日志文件的路径 
  path: "/home/amber/mongodb/sharded_cluster/myshardrs01/mongodb-001/log/mongod.log" 
  #当mongos或mongod实例重新启动时，mongos或mongod会将新条目附加到现有日志文件的末尾。 
  logAppend: true
storage: 
  #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongod。 
  dbPath: "/home/amber/mongodb/sharded_cluster/myshardrs01/mongodb-001/data/db" 
  journal:
    #启用或禁用持久性日志以确保数据文件保持有效和可恢复。 
    enabled: true
processManagement:
  #启用在后台运行mongos或mongod进程的守护进程模式。 
  fork: true 
  #指定用于保存mongos或mongod进程的进程ID的文件位置，其中mongos或mongod将写入其PID 
  pidFilePath: "/home/amber/mongodb/sharded_cluster/myshardrs01/mongodb-001/log/mongod.pid" 
net:
  # 服务实例绑定所有IP，有副作用，副本集初始化的时候，节点名字会自动设置为本地域名，而不是ip 
  #bindIpAll: true 
  #服务实例绑定的IP 
  bindIp: 0.0.0.0
  #bindIp 
  #绑定的端口 
  port: 27017
replication: 
  #副本集的名称 
  replSetName: myshardrs01
sharding: 
  #分片角色 shardsvr/configsvr
  clusterRole: shardsvr

分片配置要重点关注以下配置:

replication: 
  #副本集的名称 
  replSetName: myshardrs01
sharding: 
  #分片角色 shardsvr分片/configsvr配置
  clusterRole: shardsvr

配置节点的搭建:

systemLog:
  #MongoDB发送所有日志输出的目标指定为文件 
  destination: file
  #mongod或mongos应向其发送所有诊断日志记录信息的日志文件的路径 
  path: "/home/amber/mongodb/sharded_cluster/myconfigrs/mongodb-002/log/mongod.log" 
  #当mongos或mongod实例重新启动时，mongos或mongod会将新条目附加到现有日志文件的末尾。 
  logAppend: true
storage: 
  #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongod。 
  dbPath: "/home/amber/mongodb/sharded_cluster/myconfigrs/mongodb-002/data/db" 
  journal:
    #启用或禁用持久性日志以确保数据文件保持有效和可恢复。 
    enabled: true
processManagement:
  #启用在后台运行mongos或mongod进程的守护进程模式。 
  fork: true 
  #指定用于保存mongos或mongod进程的进程ID的文件位置，其中mongos或mongod将写入其PID 
  pidFilePath: "/home/amber/mongodb/sharded_cluster/myconfigrs/mongodb-002/log/mongod.pid" 
net:
  # 服务实例绑定所有IP，有副作用，副本集初始化的时候，节点名字会自动设置为本地域名，而不是ip 
  #bindIpAll: true 
  #服务实例绑定的IP 
  bindIp: 0.0.0.0
  #bindIp 
  #绑定的端口 
  port: 27018
replication: 
  #副本集的名称 
  replSetName: myconfigrs
sharding: 
  #分片角色 shardsvr/configsvr
  clusterRole: configsvr

配置节点的配置其实和分片的配置没有很大的差别，主要是修改了分片角色

sharding: 
  #分片角色 shardsvr/configsvr
  clusterRole: configsvr

路由节点搭建

配置

systemLog:
  #MongoDB发送所有日志输出的目标指定为文件 
  destination: file
  #mongod或mongos应向其发送所有诊断日志记录信息的日志文件的路径 
  path: "/home/amber/mongodb/sharded_cluster/myconfigrs/mongodb-001/log/mongod.log" 
  #当mongos或mongod实例重新启动时，mongos或mongod会将新条目附加到现有日志文件的末尾。 
  logAppend: true
processManagement:
  #启用在后台运行mongos或mongod进程的守护进程模式。 
  fork: true 
  #指定用于保存mongos或mongod进程的进程ID的文件位置，其中mongos或mongod将写入其PID 
  pidFilePath: "/home/amber/mongodb/sharded_cluster/myconfigrs/mongodb-001/log/mongod.pid" 
net:
  # 服务实例绑定所有IP，有副作用，副本集初始化的时候，节点名字会自动设置为本地域名，而不是ip 
  #bindIpAll: true 
  #服务实例绑定的IP 
  bindIp: 0.0.0.0
  #bindIp 
  #绑定的端口 
  port: 28001
sharding: 
  configDB: myconfigrs/192.168.40.146:27017,192.168.40.146:27018,192.168.40.146:27219

相对于配置节点和分片节点的配置文件，路由节点的配置文件减少了data存储地址配置。变更了,其中configDB为配置节点的地址

sharding: 
  configDB: myconfigrs/192.168.40.146:27017,192.168.40.146:27018,192.168.40.146:27219

启动路由节点

mongods -f ../conf/mongod.conf

客户端登录

mongo 192.168.40.146:27017

插入数据时候发现报错，原因是虽然节点配置节点已经和路由节点联通了，但是分片节点还没有与路由节点联通

mongos> use amber
switched to db amber
mongos> db.amber.insert({name: "amber"})
WriteCommandError({
	"ok" : 0,
	"errmsg" : "unable to initialize targeter for write op for collection amber.amber :: caused by :: Database amber not found :: caused by :: No shards found",
	"code" : 70,
	"codeName" : "ShardNotFound",
	"operationTime" : Timestamp(1593535804, 2),
	"$clusterTime" : {
		"clusterTime" : Timestamp(1593535804, 2),
		"signature" : {
			"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
			"keyId" : NumberLong(0)
		}
	}
})

联通分片节点

mongos> sh.addShard("myshardrs01/192.168.40.144:27017,192.168.40.144:27018,192.168.40.144:27019")
{
	"shardAdded" : "myshardrs01",
	"ok" : 1,
	"operationTime" : Timestamp(1593536073, 2),
	"$clusterTime" : {
		"clusterTime" : Timestamp(1593536073, 2),
		"signature" : {
			"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
			"keyId" : NumberLong(0)
		}
	}
}

mongos> sh.status()
--- Sharding Status --- 
  sharding version: {
  	"_id" : 1,
  	"minCompatibleVersion" : 5,
  	"currentVersion" : 6,
  	"clusterId" : ObjectId("5efb6ae9d123f9c8ef7b74ed")
  }
  shards:
        {  "_id" : "myshardrs01",  "host" : "myshardrs01/192.168.40.144:27017,192.168.40.144:27018,192.168.40.144:27019",  "state" : 1 }
  active mongoses:
        "4.0.10" : 1
  autosplit:
        Currently enabled: yes
  balancer:
        Currently enabled:  yes
        Currently running:  no
        Failed balancer rounds in last 5 attempts:  0
        Migration Results for the last 24 hours: 
                No recent migrations
  databases:
        {  "_id" : "config",  "primary" : "config",  "partitioned" : true }

同样的把145分片也加上

mongos> sh.addShard("myshardrs02/192.168.40.145:27017,192.168.40.145:27018,192.168.40.145:27019")
{
	"shardAdded" : "myshardrs02",
	"ok" : 1,
	"operationTime" : Timestamp(1593536130, 4),
	"$clusterTime" : {
		"clusterTime" : Timestamp(1593536130, 4),
		"signature" : {
			"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
			"keyId" : NumberLong(0)
		}
	}
}

mongos> sh.status()
--- Sharding Status --- 
  sharding version: {
  	"_id" : 1,
  	"minCompatibleVersion" : 5,
  	"currentVersion" : 6,
  	"clusterId" : ObjectId("5efb6ae9d123f9c8ef7b74ed")
  }
  shards:
        {  "_id" : "myshardrs01",  "host" : "myshardrs01/192.168.40.144:27017,192.168.40.144:27018,192.168.40.144:27019",  "state" : 1 }
        {  "_id" : "myshardrs02",  "host" : "myshardrs02/192.168.40.145:27017,192.168.40.145:27018,192.168.40.145:27019",  "state" : 1 }
  active mongoses:
        "4.0.10" : 1
  autosplit:
        Currently enabled: yes
  balancer:
        Currently enabled:  yes
        Currently running:  no
        Failed balancer rounds in last 5 attempts:  0
        Migration Results for the last 24 hours: 
                No recent migrations
  databases:
        {  "_id" : "config",  "primary" : "config",  "partitioned" : true }

再操作数据库，开启分片

mongos> sh.enableSharding("amber")
{
	"ok" : 1,
	"operationTime" : Timestamp(1593536255, 3),
	"$clusterTime" : {
		"clusterTime" : Timestamp(1593536255, 3),
		"signature" : {
			"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
			"keyId" : NumberLong(0)
		}
	}
}

mongos> sh.status()
--- Sharding Status --- 
  sharding version: {
  	"_id" : 1,
  	"minCompatibleVersion" : 5,
  	"currentVersion" : 6,
  	"clusterId" : ObjectId("5efb6ae9d123f9c8ef7b74ed")
  }
  shards:
        {  "_id" : "myshardrs01",  "host" : "myshardrs01/192.168.40.144:27017,192.168.40.144:27018,192.168.40.144:27019",  "state" : 1 }
        {  "_id" : "myshardrs02",  "host" : "myshardrs02/192.168.40.145:27017,192.168.40.145:27018,192.168.40.145:27019",  "state" : 1 }
  active mongoses:
        "4.0.10" : 1
  autosplit:
        Currently enabled: yes
  balancer:
        Currently enabled:  yes
        Currently running:  no
        Failed balancer rounds in last 5 attempts:  0
        Migration Results for the last 24 hours: 
                No recent migrations
  databases:
        {  "_id" : "amber",  "primary" : "myshardrs02",  "partitioned" : true,  "version" : {  "uuid" : UUID("f65d89d3-ad59-40ab-9009-bb91fdb8d1d9"),  "lastMod" : 1 } }
        {  "_id" : "config",  "primary" : "config",  "partitioned" : true }
                config.system.sessions
                        shard key: { "_id" : 1 }
                        unique: false
                        balancing: true
                        chunks:
                                myshardrs01	1
                        { "_id" : { "$minKey" : 1 } } -->> { "_id" : { "$maxKey" : 1 } } on : myshardrs01 Timestamp(1, 0) 

对amber数据库的amber集合进行分片，并使用age作为键值以及采用hashed算法定位数据应该存放再哪一个分片中

mongos> sh.shardCollection("amber.amber",{"age":"hashed"})
{
	"ok" : 0,
	"errmsg" : "Please create an index that starts with the proposed shard key before sharding the collection",
	"code" : 72,
	"codeName" : "InvalidOptions",
	"operationTime" : Timestamp(1593536415, 4),
	"$clusterTime" : {
		"clusterTime" : Timestamp(1593536415, 4),
		"signature" : {
			"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
			"keyId" : NumberLong(0)
		}
	}
}

分片规则一：哈希策略
对于 基于哈希的分片 ,MongoDB计算一个字段的哈希值,并用这个哈希值来创建数据块.在使用基于哈希分片的系统中,拥有”相近”片键的文档 很可能不会 存储在同一个数据块中,因此数据的分离性更好一些.

 sh.shardCollection("amber.amber",{"age":"hashed"})

分片规则二：范围策略
对于 基于范围的分片 ,MongoDB按照片键的范围把数据分成不同部分.假设有一个数字的片键:想象一个从负无穷到正无穷的直线,每一个片键的值都在直线上画了一个点.MongoDB把这条直线划分为更短的不重叠的片段,并称之为 数据块 ,每个数据块包含了片键在一定范围内的数据.

 sh.shardCollection("amber.amber",{"age":1})