zoukankan      html  css  js  c++  java
  • 浅谈checkpoint与内存缓存

    事务日志存在检查点checkpoint,把内存中脏数据库写入磁盘,以减少故障恢复的时间,在此之前有必要提下SQL Server内存到底存放了哪些数据?

    SQL Server内存使用

    对SQL Server数据库有一定了解的人一定知道,数据库为提高交互速度是将数据提取到内存缓冲区,然后客户端取内存的数据,内存中数据按用途分类具体可如下

    (1)database cache

    顾名思义,用于存放数据的缓冲区,用户修改某个数据时,SQL Server会修改内存中相应页面的数据,不会立即修改磁盘中数据,用户读取数据也是从内存中读取,若内存中未命中才从磁盘获取。对于内存中已经修改的数据,需要checkpoint或lazy write的时候集中处理。

    因此最理想的情况,将磁盘中所有数据都存放在内存中,而不需要到磁盘中读取数据。只要后续通过checkpoint写入修改的数据即可。

    (2)各类Consumer

    SQL Server的其他组件需要通过内存完成任务,其中主要包括:connection,执行计划,编译、执行上下文,元数据等。

    (3)其他(线程,第三方代码)

    通过以上分类能了解到,内存缓冲区主要数据缓存和计划缓存。而checkpoint具体做了哪些事情呢?接下来便说说checkpoint的执行过程

    checkpoint 
    go  
    select [current lsn],Operation,CONTEXT,[Transaction ID],[Log Record Length],[Previous LSN],[Minimum LSN] ,AllocUnitName,[Page ID],[Slot ID],[Begin Time],[End Time],[RowLog Contents 0],[RowLog Contents 1],[Log Record] 
    from fn_dblog(null,null) 
    where [current lsn]>'00000115:000001e2:0001'

    1、在checkpoint 执行后,往日志中插入操作类型为LOP_BEGIN_CKPT的记录;在此日志中记录MinLSN,MinLSN可能为以下情况

    • CheckPoint的开始LSN

    • 还未结束的事务在日志的最小LSN

    • 尚未传递给分发数据库的最早的复制事务起点的 LSN【镜像和复制分发】

    image

    2、往日志中插入操作类型为LOP_XACT_CKPT的记录。

    下图为不存在活动事务的情况。

    image

    下图为存在活动事务,log Record记录活动事务LSN。

    image

    3、若数据库恢复模式为简单恢复模式,或者非完整/大容量恢复模式在为执行全备的情况下,将MinLSN之前的所有VLF设置为reusable。

    4、把当前日志缓冲区的日志页写入磁盘,将数据库缓冲区的脏数据写入磁盘。

    dbcc errorlog 
    go 
    dbcc traceon(3502,3504,-1) 
    go 
    checkpoint 
    go 
    xp_readerrorlog

    从下图可以看出cleaned up 4 bufs ;注意:不管事务是否已经提交都要写入磁盘。

    image

    5、往日志中插入操作类型为LOP_END_CKPT的记录。

    image

    6、将checkpoint操作的开始LSN写入数据库的启动数据页。

    以上具体各个步骤记录的详细内容需要分析LogRecord的记录lsn内容,此文暂不细说。

    需要注意以上几点:

    (1)checkpoint将脏页写入磁盘的时候,会先将日志写入磁盘。以保证数据永久性

    (2)将脏页写入磁盘,是所有已经修改的数据,这里包括正在活动的事务

    (3)不只是简单恢复模式在执行checkpoint的时候会导致日志重用,未做过完整备份的完整恢复模式和大容量日志恢复模式也会导致日志重用。(这是因为在为做完整备份之前,不用保证一条完整的日志序列)

    (4)checkpoint 的主要作用是为了减短故障恢复时间,主要写入脏页数据操作为懒写入。

  • 相关阅读:
    tensorboard使用命令
    FFmpeg安装以及视频转成图片_图片转成视频_以及分辨率转换
    yolo3各部分代码详解(超详细)
    OpenCV+python 彩色图像通道拆分与组合并判断size,shape函数的用法与区别
    基于Keras 的VGG16神经网络模型的Mnist数据集识别并使用GPU加速
    以Mnist为例从头开始自己建立数据集,搭建resnet34,识别Mnist
    2017年Brats 脑肿瘤挑战赛Automatic Brain Tumor Segmentation using Cascaded Anisotropic Convolutional Neural Networks
    2018年BRATS 肿瘤分割挑战赛第三名分割方案One-pass Multi-task Networks with Cross-task Guided Attention for Brain Tumor Segmentation
    脑胶质瘤论文笔记
    .npy文件的保存与加载
  • 原文地址:https://www.cnblogs.com/chhuang/p/3541499.html
Copyright © 2011-2022 走看看