zoukankan      html  css  js  c++  java
  • Redis主从实现原理分析 [转]

    原文地址:http://blog.sina.com.cn/s/blog_7530db6f0100vegl.html

    , 实现原理图

    (1)Slave服务器连接到Master服务器.

    (2)Slave服务器发送SYCN命令.

    (3)Master服务器备份数据库到.rdb文件.

    (4)Master服务器把.rdb文件传输给Slave服务器.

    (5)Slave服务器把.rdb文件数据导入到数据库中.

    上面的这5步是同步的第一阶段, 接下来在Master服务器上调用每一个命令都使用replicationFeedSlaves()来同步到Slave服务器.

    , 实现细节

    (1) Slave服务器连接到Master服务器 / 发送SYNC命令:

    Slave服务器通过syncWithMaster()函数来连接Master服务器(如果Master服务器需要密码登陆的话, 先登陆), 并且发送SYNC命令请求同步, 接着打开rdb文件(用于存储由Master发送过来的数据), 创建读rdb的IO事件(readSyncBulkPayload). 代码如下:

    int syncWithMaster(void) {

    ......

    //登陆master服务器

    if(server.masterauth) {

    syncWrite(fd, "AUTH xxx ", strlen(server.masterauth)+7, 5);

    ......

    }

    //发送SYNC命令

    syncWrite(fd,"SYNC ",7,5);

    ......

    //打开rdb文件

    dfd = open(tmpfile,O_CREAT|O_WRONLY|O_EXCL,0644);

    ......

    //创建读rdb的IO事件

    aeCreateFileEvent(server.el, fd, AE_READABLE, readSyncBulkPayload, NULL);

    ......

    return REDIS_OK;

    }

    (2) Master服务器备份数据库到.rdb文件:

    当Slave服务器发送SYNC命令到Master服务器时, Master服务器便会调用syncCommand()函数来进行同步. 同步的第一步是把数据库的数据存储为rdb文件, 存储完毕后调用updateSlavesWaitingBgsave()函数来发送rdb文件给所有的Slave服务器.代码如下:

    void syncCommand(redisClient *c) {

        //如果正在保存rdb文件

    if (server.bgsavechildpid != -1) {

        ......

        //主要判断当前存储rdb文件是不是由SYNC命令触发的

        //如果当前存储rdb文件不是由SYNC命令触发, 则要等到下一次

        ......

    } else {//否则调用rdbSaveBackground()存储rdb文件

        rdbSaveBackground(server.dbfilename);

    }

    }

    当rdbSaveBackground()函数执行完毕, 就会调用updateSlavesWaitingBgsave()来发送rdb文件到所有的Slave服务器, 代码如下:

    void updateSlavesWaitingBgsave(int bgsaveerr) {

        listRewind(server.slaves,&li);

    while((ln = listNext(&li))) {

        slave->repldbfd = open(server.dbfilename,O_RDONLY);

        .......

        aeCreateFileEvent(server.el,slave->fd,AE_WRITABLE, sendBulkToSlave,slave);

    }

    }

        updateSlavesWaitingBgsave()要做的事情是, 打开rdb文件, 创建发送rdb文件IO事件(sendBulkToSlave). 而sendBulkToSlave()主要的工作就是把rdb文件发送给Slave服务器.

        而当Slave服务器接收rdb文件完毕之后(readSyncBulkPayload()函数处理), 会清空原来数据库的数据, 然后把rdb文件的数据导入到数据库中.

    (3) 增量同步

    完成上面的步骤之后, 同步基本完成. 接下来的工作就是增量同步, 也就是当Master服务器有数据更新的时候, 会立刻

  • 相关阅读:
    Python3 从零单排10_xml&configparser
    Python3 从零单排9_json&pickle&shelve
    Python3 从零单排7_模块&os&sys
    Python3 从零单排6_装饰器&生成器&迭代器
    Python3 从零单排5_内置函数
    python3 从零单排4_函数进阶
    Python3 从零单排2_文件读写&集合
    查看innodb表空间
    如何从innodb的数据字典里恢复表结构
    innodb double write buffer
  • 原文地址:https://www.cnblogs.com/jimcsharp/p/5582012.html
Copyright © 2011-2022 走看看