zoukankan      html  css  js  c++  java
  • Couchbase集群和Redis集群解析

    首先,关于一些数据库或者是缓存的集群有两种结构,一种是Cluster;一种是master-salve.

    关于缓存系统一般使用的就是Redis,Redis是开源的,它可以单机使用,也可以做集群使用。

    Redis集群是一个分布式、容错、的Redis实现,集群可以使用的功能是普通单机Redis所能使用的功能的一个子集

    Redis集群中不存在中心节点或者代理节点,集群的其中一个主要的目标是达到线性可扩展性

    集群的容错功能是通过使用主节点和从节点来实现的(master-slave)。

    Redis集群中的节点有3大责任:

    (1)      持有键值对数据。

    (2)      记录集群的状态,包括键到正确节点的映射。

    (3)      自动发现其它节点,识别工作不正常的节点,并在有需要时,在从节点中选举出新的主节点。

    Redis节点之间使用Gossip协议来进行工作:

    (1)      传播关于集群的信息,以此来发现新的节点。

    (2)      向其它节点发送PING数据包,确定节点是否正常工作。

    (3)      在特定事件发生时,发送集群信息。

    键分布模型:Redis集群的键空间被分割为16384个槽,集群的最大节点数量也是16384个。(官方文档推荐的最大节点数量为1000个左右)。

    每个主节点都负责处理16384个哈希槽的其中一部分。

    当集群没有执行重置操作,每个哈希槽都只由一个节点进行处理。

    重置是指将某个/某些槽从一个节点移动到另一个节点。(移动键操作是原子操作,在移动期间,两个节点都会处于阻塞状态,以免出现竞争条件)。

    MOVED转向

    一个Redis客户端可以向集群中的任意节点(包括从节点)发送命令请求。

    请求节点将会查询命令所要处理的键所在的槽。

    (1)      如果要查找的哈希槽正好就是本节点负责,就直接处理。

    (2)      如果查找的槽不是本节点负责,记录请求的记录,并向客户端回复一个MOVE错误,给出键当前所在的IP和端口。

    ASK转向

    容错(添加节点和节点失效的情况):节点失效检测、集群状态检测、从节点选举

    以上说的Redis的功能在2.8才稳定使用。

    而Couchbase可以实现Redis的缓存功能同时还可以对数据进行持久化,存入到硬盘中,Couchbase是基于文档或者是JSON格式数据的存储的数据库,

    数据存储采用vBuckets处理的。

    The diagram below shows how the Key to Server mapping (vBucket map) works. There are three servers in the cluster. A client wants to look up ( get ) the value of KEY. The client first hashes the key to calculate the vBucket which owns KEY. In this example, the hash resolves to vBucket 8 ( vB8 ) By examining the vBucket map, the client determines Server C hosts vB8. The get operation is sent directly to Server C.

     

    After some period of time, there is a need to add a server to the cluster. A new node, Server D is added to the cluster and the vBucket Map is updated.

     

    The vBucket map is updated during the rebalance operation; the updated map is then sent the cluster to all the cluster participants, including the other nodes, any connected “smart” clients, and the Moxi proxy service.

    Within the new four-node cluster model, when a client again wants to get the value of KEY, the hashing algorithm will still resolve to vBucket 8 ( vB8 ). The new vBucket map however now maps that vBucket to Server D. The client now communicates directly with Server D to obtain the information.

    Couchbase不但支持Cluster同时,Cluster之间还支持Replication

    现在最好的结构有两种:

  • 相关阅读:
    JMeter接口测试系列:Jmeter+jenkins+ant 的自动化构建
    BZOJ1434:[ZJOI2009]染色游戏(博弈论)
    BZOJ4241:历史研究(回滚莫队)
    BZOJ2281:[SDOI2011]黑白棋(博弈论,组合数学,DP)
    BZOJ1188:[HNOI2007]分裂游戏(博弈论)
    BZOJ1022:[SHOI2008]小约翰的游戏John(博弈论)
    BZOJ1406:[AHOI2007]密码箱(数论)
    BZOJ3270:博物馆(高斯消元)
    CF993E:Nikita and Order Statistics(FFT)
    HDU4609:3-idiots(FFT)
  • 原文地址:https://www.cnblogs.com/sunwubin/p/3426822.html
Copyright © 2011-2022 走看看