innodb master thread 工作原理

 

参考 innodb参数汇总  InnoDB的Master Thread工作原理

innodb_max_dirty_pages_pct 默认值

show variables like 'innodb_max_dirty_pages_pct';

    由90%变为了75%。加快了脏页刷新频率减少恢复时间，也可保证磁盘IO负载。

innodb_adaptive_flushing(自 适应刷新)

   影响每秒刷新脏页的数目。规则由原来的“大于innodb_max_dirty_pages_pct时刷新100个脏页到磁盘”变为 “通过buf_flush_get_desired_flush_reate函数判断重做日志产生速度确定需要刷新脏页的最合适数目”；即使脏页比例小于 innodb_max_dirty_pages_pct时也会刷新一定量的脏页。

 

innodb_io_capacity

查看:show variables like 'innodb_io_capacity';

无论何时，InnoDB存储引擎最多都只会刷新100个脏页到磁盘，合并20个插入缓冲。如果是在密集写的应用程序中，每秒中可能会产生大于100个的脏页，或是产生大于20个插入缓冲，此时master thread似乎会“忙不过来”，或者说它总是做得很慢。即使磁盘能在1秒内处理多于100个页的写入和20个插入缓冲的合并，由于hard coding，master thread也只会选择刷新100个脏页和合并20个插入缓冲。同时，当发生宕机需要恢复时，由于很多数据还没有刷新回磁盘，所以可能会导致恢复需要很快的时间，尤其是对于insert buffer。

这个问题最初是由Google的工程师Mark Callaghan提出的，之后InnoDB对其进行了修正并发布了补丁。InnoDB存储引擎的开发团队参考了Google的patch，提供了类似的方法来修正该问题。因此InnoDB Plugin开始提供了一个参数，用来表示磁盘IO的吞吐量，参数为innodb_io_capacity，默认值为200。对于刷新到磁盘的数量，会按照innodb_io_capacity的百分比来刷新相对数量的页。规则如下：

在合并插入缓冲时，合并插入缓冲的数量为innodb_io_capacity数值的5%。

在从缓冲区刷新脏页时，刷新脏页的数量为innodb_io_capacity。

innodb_fast_shutdown

 

innodb_fast_shutdown影响着innodb表的行为，该参数可设置为0，1，2

 0 表示当MySQL关闭时，InnoDB需要完成所有的full purge和merge insert buffer操作。耗时比较长。
1 是默认值。表示不需要完成full purge和merge insert buffer操作，但是在缓冲池中的一些数据脏页会刷新到磁盘。
2 表示不完成full purge和merge insert buffer操作，也不将缓冲池中的数据脏页写回到磁盘，而是将日志写入到日志文   件。MySQL下次启动时，会执行恢复操作。

 

innodb_force_recovery

    影 响InnoDB的恢复状况。默认为0，表示需恢复时执行所有的恢复操作。若不能有效恢复，则MySQL有可能宕机，错误信息会被写入错误日志文件。还有 1~6等值

 

 

master thread可以分为主循环(loop)，background循环,flush循环,suspend循环。可以这么理解，先运行主循环，如果当前数据库空闲，或者调用stop关闭命令时，进入background循环，在background循环最后，如果当前数据库不再空闲，就重新进入主循环,否则进入flush循环。在flush循环最后，如果数据库还是空闲就进入suspend循环，master thread挂起。

　　主循环分成两部分，一部分是每一秒钟要做的事情，另一部分是每10秒钟要做的事情。伪代码如下:

　　loop:
　　　　for(int i=0;i<10;i++){
　　　　　thread_sleep(1);//sleep 1 second
　　　　　doing something{
　　　　　 //每一秒钟要做的
　　　　　　do log buffer flush to disk;
　　　　　　if(last_one_second_ios < 5%*innodb_io_capacity){
　　　　　　do merge at most 5% innodb_io_capacity insert buffer;
　　　　　}
　　　　　if(buffer_pool_modified_page_ratio_pct > innodb_max_dirty_page_pct){
　　　　　　do buffer pool flush 100% innodb_io_capacity dirty pages;
　　　　　}else if(enable adaptive flush){
　　　　　　do buffer pool flush desired amount dirty pages;
　　　　　}
　　　　　if(not user activity){
　　　　　　goto background loop;
　　　　　}
　　　　} 
　　　}
　　　doging something;{
　　　 //每10秒要做的
　　　　if(last_ten_seconds_ios < innodb_io_capacity){
　　　　　　do merge 100% innodb_io_capacity dirty pages;
　　　　}
　　　　do log buffer flush to disk;
　　　　do merge at most 5% innodb_io_capacity insert buffer;
　　　　do full purge,at most 20 undo pages;
　　　　if(buffer_pool_modified_page_ratio_pct < 70%){
　　　　　　do buffer pool flush 100% innodb_io_capacity dirty pages;
　　　　}else{
　　　　　　do buffer pool flush 10% innodb_io_capacity dirty pages;
　　　　}
　　　　do fuzzy checkpoint;
　　　}

　　background loop循环伪代码如下：

　　background loop:
　　　　do full purge,at most 20 undo pages;
　　　　do merge 100% innodb_io_capacity insert buffer;
　　　　if(not idle){
　　　　　　goto loop;
　　　　}else{
　　　　　　goto flush loop;
　　　　}

　　flush loop循环伪代码如下：

　　flush loop:
　　　　do buffer pool flush 100% innodb_io_capacity dirty pages;
　　　　if(buffer_pool_modified_page_ratio_pct > innodb_max_dirty_page_pct){
　　　　　　goto flush loop;
　　　　}
　　　　goto suspend loop;

　　suspendloop循环伪代码如下：

　　suspend loop:
　　　　suspend thread();
　　　　waiting event;
　　　　goto loop;

　　通过整理不难发现，整个master thread主要操作的对象只有，log buffer,insert buffer,dirty pages,undo pages,checkpoint。可以根据这些操作对象来分类主要有如下：

　　log buffer:

　　　　只在主循环中操作log buffer。而且，不管是在每一秒，还是每10秒，不需要任何前提，都会flush log buffer.这个最好理解。

　　insert buffer:

　　　　每一秒操作：如果一秒内磁盘IO < 5% innodb_io_capacity,就至多合并5% innodb_io_capacity的insert buffer.否则就不操作。

　　　　每10秒操作：不需要任何前提，至多合并5% innodb_io_capacity的insert buffer。

　　　　background loop：至多合并100% innodb_io_capacity的insert buffer。

　　dirty pages:

　　　　每一秒操作：如果缓冲池脏页比例 > innodb_max_dirty_pages_pct,就刷新100%innodb_io_capacity的脏页到磁盘。如果不满足条件，但是满足adaptive flush条件，仍会刷新一定的脏页到磁盘

　　　　每10秒操作：如果最近10秒内，磁盘IO < innodb_io_capacity,就刷新100%innodb_io_capacity的脏页到磁盘。之后，如果缓冲池脏页比例 > 70% ,再次刷新100%innodb_io_capacity的脏页到磁盘,否则刷新10%innodb_io_capacity。

　　　　flush loop：只要缓冲池脏页比例 > innodb_max_dirty_pages_pct,就刷新100%innodb_io_capacity的脏页到磁盘，直到脏页比例小于innodb_max_dirty_pages_pct设置。

　　undo pages:

　　　　每10秒操作 ：不需要任何前提，至多删除20个undo 页.

　　　　background loop : 不需要任何前提，至多删除20个undo 页.

　　checkpoint :

　　　　每10秒操作 ：不需要任何前提，设置一个模糊检查点.