zoukankan      html  css  js  c++  java
  • 转载: 8天学通MongoDB——第六天 分片技术

     在MongoDB里面存在另一种集群,就是分片技术,跟sql server的表分区类似,我们知道当数据量达到T级别的时候,我们的磁盘,内存

    就吃不消了,针对这样的场景我们该如何应对。

     

    一:分片

         mongodb采用将集合进行拆分,然后将拆分的数据均摊到几个片上的一种解决方案。

     

    下面我对这张图解释一下:

         人脸:       代表客户端,客户端肯定说,你数据库分片不分片跟我没关系,我叫你干啥就干啥,没什么好商量的。

         mongos: 首先我们要了解”片键“的概念,也就是说拆分集合的依据是什么?按照什么键值进行拆分集合....

                         好了,mongos就是一个路由服务器,它会根据管理员设置的“片键”将数据分摊到自己管理的mongod集群,数据

                        和片的对应关系以及相应的配置信息保存在"config服务器"上。

        mongod:   一个普通的数据库实例,如果不分片的话,我们会直接连上mongod。

     

    二: 实战

        首先我们准备4个mongodb程序,我这里是均摊在C,D,E,F盘上,当然你也可以做多个文件夹的形式。

    1:开启config服务器

          先前也说了,mongos要把mongod之间的配置放到config服务器里面,理所当然首先开启它,我这里就建立2222端口。

     

    2: 开启mongos服务器

        这里要注意的是我们开启的是mongos,不是mongod,同时指定下config服务器,这里我就开启D盘上的mongodb,端口3333。

     

    3:启动mongod服务器

         对分片来说,也就是要添加片了,这里开启E,F盘的mongodb,端口为:4444,5555。

     

    4: 服务配置

        哈哈,是不是很兴奋,还差最后一点配置我们就可以大功告成。

     <1> 先前图中也可以看到,我们client直接跟mongos打交道,也就说明我们要连接mongos服务器,然后将4444,5555的mongod

             交给mongos,添加分片也就是addshard()。

    这里要注意的是,在addshard中,我们也可以添加副本集,这样能达到更高的稳定性。

     

    <2>片已经集群了,但是mongos不知道该如何切分数据,也就是我们先前所说的片键,在mongodb中设置片键要做两步

            ①:开启数据库分片功能,命令很简单 enablesharding(),这里我就开启test数据库。

            ②:指定集合中分片的片键,这里我就指定为person.name字段。

     

    5: 查看效果

    好了,至此我们的分片操作全部结束,接下来我们通过mongos向mongodb插入10w记录,然后通过printShardingStatus命令

    查看mongodb的数据分片情况。

     这里主要看三点信息:

      ① shards:     我们清楚的看到已经别分为两个片了,shard0000和shard0001。

      ② databases:  这里有个partitioned字段表示是否分区,这里清楚的看到test已经分区。

      ③ chunks:     这个很有意思,我们发现集合被砍成四段:

                               无穷小 —— jack0,jack0 ——jack234813,jack234813——jack9999,jack9999——无穷大。

                               分区情况为:3:1,从后面的 on shardXXXX也能看得出。

     
    分类: MongoDB
     
    好文要顶 关注我 收藏该文  
    25
    0
     
    关注我
     
    « 上一篇:8天学通MongoDB——第五天 主从复制
    » 下一篇:8天学通MongoDB——第七天 运维技术
    posted @ 2012-03-07 12:31 一线码农 阅读(58187) 评论(28编辑 收藏
     

     
      
    #1楼2012-03-07 12:48 走在溪边  
    不错的介绍。用json传送数据,多行一样模式的数据,每个数据项都要摆上列标题,浪费了不少比特,不知能否简写?
      
    #2楼[楼主2012-03-07 12:58 一线码农  
    @ 走在溪边
    本来是一种kv结构,以我个人见解是不能简写的,不过欢迎讨论。
      
    #3楼2012-03-07 13:19 走在溪边  
    @ 一线码农
    是的,对于kv结构来说,这样写对存储和检索应该是没有影响,web应用采用分页结构,影响也不会大。但我用的话,还是会觉得有些多余,见笑。
      
    #4楼[楼主2012-03-07 13:55 一线码农  
    @ 走在溪边
    谢谢支持
      
    #5楼2012-03-07 14:30 有一点难  
    谢谢。
      
    #6楼[楼主2012-03-07 14:32 一线码农  
    @ 有一点难
    感谢支持
      
    #7楼2012-03-07 14:33 有一点难  
    我学习一下这方面的.net 应用。
      
    #8楼2012-03-08 11:12 小鱼happy  
    我来了,继续努力!!!
      
    #9楼[楼主2012-03-08 11:42 一线码农  
    @ 小鱼happy
    谢谢支持
      
    #10楼2012-03-08 15:18 loogn  
    能来个分片和复制结合的例子吗?
      
    #11楼2012-05-29 21:35 一起开源  
    楼主mongod的路径改成:--dbpath=E:mongodbdb (文中E及F盘都搞在bin目录了)更妥一些
      
    #12楼2012-10-18 11:27 规格严格-功夫到家  
    写的不错,我一直关注你。。。。。
      
    #13楼2012-10-23 21:16 lhking  
    通过这篇文章,终于shard成功了
      
    #14楼2014-03-11 10:34 李克华  
    请问如果如果我的一个分片Mongod进程挂掉了,是不是整个集合的查询就没有意义了啊?
      
    #15楼2014-03-22 17:24 K-Garnett  
    感觉在这个体系中,Config数据库是不是多余的?完全可以把config信息存储在mongos数据库里面。MongoDB是出于什么目的设计为这个样子的?
      
    #16楼2014-03-25 19:27 律术道  
    Config数据库;我也没有发现它的用途?
      
    #17楼2014-06-24 10:22 Yellows  
    @ 李克华
    引用 请问如果如果我的一个分片Mongod进程挂掉了,是不是整个集合的查询就没有意义了啊?

    同问!!!
      
    #18楼2014-06-26 16:19 小辛过马路  
    为什么mongos里面也有10w条相同数据呢?
      
    #19楼2014-06-26 16:20 小辛过马路  
    @ 小尾尾
    引用 @李克华
    引用引用请问如果如果我的一个分片Mongod进程挂掉了,是不是整个集合的查询就没有意义了啊?

    同问!!!

    同问
      
    #20楼2014-07-04 15:53 植辉  
    分片成功后,如何对数据进行CRUD呢?是需要在mongos的服务器中再打开一个mongod?我试过了,好像不行,读取不到在mongos中插入的数据。求解
      
    #21楼2014-08-26 23:41 C#学习路  
    @ 小辛过马路
    引用 @小尾尾
    引用引用@李克华
    引用引用请问如果如果我的一个分片Mongod进程挂掉了,是不是整个集合的查询就没有意义了啊?

    同问!!!
    同问



    是不是可以添加副本集解决?
      
    #22楼2014-11-11 17:26 gongde  
    请教一个问题,

    如果我在现有的数据库上做分片,怎么做?
      
    #23楼2015-01-16 14:16 阿里大盗  
    @ gongde
    Mongod进程所在的机器,难道不能配置data目录是多块,然后轮询写数据吗?
    按照博主的这个例子,为了使得Mongo能够将数据写在不同的idsk上,就需要在1台机器上,启动1个Mongos进程和若干mongod进程,这样一来,这台机器的socket端口数会猛涨吧,因为这比原来直接用Mongod要多出1倍的连接数
      
    #24楼2015-05-02 20:46 ZuQing  
    @ C#学习路
    的确,一般会添加副本集做灾难恢复和备份
      
    #25楼2015-07-04 11:27 飞鸿影~  
    发现只要有一个分片挂了,就查询不了数据了。
    1
    2
    3
    4
    5
    6
    mongos> db.person.count()
    2015-07-04T11:26:17.660+0800 E QUERY    Error: count failed: {
            "code" : 11002,
            "ok" : 0,
            "errmsg" "exception: socket exception [CONNECT_ERROR] for 127.0.0.1:4444"
    }
      
    #26楼2015-07-28 11:53 丶小八戒  
    请问楼主那个chunks分区:

    为什么不是从jack9999--jack234813,而是jack234813——jack9999

    不是9999比234813小吗?
      
    #27楼2016-05-11 18:58 柳qing  
    请问楼主那个chunks分区:

    为什么不是从jack9999--jack234813,而是jack234813——jack9999

    不是9999比234813小吗?
      
    #28楼2016-05-24 15:10 crazy_apple  
    @ 丶小八戒
    @柳qing

    name是字符串,字符串比较 "jack234813"<"jack9999"吧
  • 相关阅读:
    Jmeter 将正则表达式提取的参数传给全局(跨线程组使用变量)
    pod的状态分析
    前端 -- html介绍和head标签
    Python ----- 线程和进程
    网络编程 ------ 基础
    面向对象相关操作
    面向对象 --- 进阶篇
    python --- 面向对象
    python的模块和包的详细说明
    常用模块------时间模块 , random模块 ,os模块 , sys模块
  • 原文地址:https://www.cnblogs.com/BOSET/p/7069263.html
Copyright © 2011-2022 走看看