zoukankan      html  css  js  c++  java
  • (转)MyISAM Key Cache详解及优化

    原文:http://huanghualiang.blog.51cto.com/6782683/1372721

    一、MyISAM Key Cache详解:

    为了最小化磁盘I/O,MyISAM将最频繁访问的索引块(“indexblock”)都放在内存中,这样的内存缓冲区我们称之为Key Cache,它的大小可以通过参数key_buffer_size来控制。在MyISAM的索引文件中(MYI),连续的单元(contiguous unit)组成一个Block,Index block的大小等于该BTree索引节点的大小。Key Cache就是以Block为单位的。

    1. MyISAM如何使用Key Cache

    当MySQL请求(读或写)MyISAM索引文件中某个IndexBlock时,首先会看Key Cache队列中是否已经缓存了对应block。如果有,就直接在Key Cache队列中进行读写了,不再需要请求磁盘。如果是写请求,那么Key Cache中的对应Block就会被标记为Dirty(和磁盘不一致)。在MyISAM在Key Cache成功请求(读写)某个Block后,会将该Block放到Key Cache队列的头部。

    如果Key Cache中没有待请求(读或写)的Block,MyISAM会向磁盘请求对应的Block,并将其放到KeyCache的队列头部。队列如果满了,会将队列尾部的Block删除,该Block如果是Dirty的,会将其Flush到磁盘上。我们看到MyISAM维护了一个LRU(Least Recently Used)的Key Cache队列。队列中的Dirty Block会在Block被踢出队列时Flush到磁盘上。

    2. 并发访问

    Key Cache中的index Block是可以被并发访问的(Shared access ),下面是一些规则:

    a.多个没有更新操作的session可以并发同一个block buffer

    b.多个session同时访问某一个block buffer,如果某个session是update操作,则优先访问

    c.多个session如果都需要进行block replacement,是可以并发操作。(从index file中读取block更新到key cache,但是key cache已满,需要删除一些block buffer的操作叫做block replacement)

    设置多key buffer

    set global hot.key_buffer_size=xx; #hot、cold 是key buffer的名字,可随意取

    set global colkd.key_buffer_size=xx;

    CACHE INDEX example.top_message IN  hot_cache

    CACHE INDEX example.event IN cold_cache

    LOAD INDEX INTO CACHEexample.top_message,example.event IGNORE LEAVES; #预加载,可以放在配制文件中,启动后数据库key buffer命中率会提升.

    LOAD INDEX INTO CACHE example.user IGNORELEAVERS,expamle.groups

    二、MySQL管理key buffer算法:

    MySQL默认使用LRU算法(因默认key_cache_division_limit= 100,只有一个chain,不使用“中点插入算法”。

    Key Cache的LRU算法,作为对LRU算法的改进,MyISAM还提供了另一个缓存算法:“MidpointInsertion Strategy”。

    Midpoint Insertion Strategy(中点插入算法)-将LRU链分成hot子表warm子表。

    1. 相关参数

    该策略涉及的参数有:key_cache_division_limit、key_cache_age_threshold

    key_cache_division_limit=70  --  %30的缓存做hot

    key_cache_age_threshold:Hotsub-chain中的顶部的block停留时间超过一个阈值后就会被降级到warm sub-chain。具体的计算方法是:设N为key cache中的block个数,如果在最近的N*key_cache_age_threshold/100次访问中,keycache顶部的block仍然没有被访问到,那么就会被移到warmsub-chain的顶部。

    2. 原理介绍

    (1).该策略将前面的LRU队列(LRU Chain)分成两部分,hot sub-chain和warm sub-chain。并根据参数key_cache_division_limit划分,总保持warm sub-chain在这个百分比以上。默认情况key_cache_division_limit是100,所以默认时候只有warmsub-chain,即LRU Chain。

    (注:Multiple Key cache情况,每个key cache都有对应的key_cache_division_limit值)

    (2).在warm sub-chain中的某个block如果被访问(Access)次数超过某个值时候,就将该block放到hot sub-chain的底部。

    (3).在hot sub-chain中的block会随着每一次的hit调整位置,hit越多,越接近底部。在顶部停留时间过长就会被降级到warm sub-chain中,而且是warm sub-chain的顶部(很可能很快就会被移出key cache)。

    (4).Hot sub-chain中的顶部的block停留时间超过一个阈值后就会被降级到warm sub-chain。这个阈值由参数key_cache_age_threshold决定。具体的计算方法是:设N为key cache中的block个数,如果在最近的(N*key_cache_age_threshold/100)次访问中,keycache顶部的block仍然没有被访问到,那么就会被移到warm sub-chain的顶部。

    (5).默认情况key_cache_division_limit = 100,这时只有只有一个Chain,所以不使用该策略。即退化的Midpoint Insertion Strategy是LRU算法。

    *key buffer一些参数指标:

    物理读:key_read/key_read_requests一般要应小于0.01,否则key buffer设置小了。

    key_writes/key_write_requests #看写多不多,若很多接近1

    使用率:1-((key_block_unused*key_cache_block_size)/key_buffer_size) # 一般在80%左右比较优,大于80%,可能是keybuffer设置过小,小于80% 可能是key buffer设置过大,导致内存资源浪费。

  • 相关阅读:
    springmvc与Ajax交互
    springmvc请求参数获取的几种方法
    struts2进阶篇(2)
    mysql explain用法
    struts2基础篇(1)
    struts2工作原理
    PHP 数组的拷贝是按值传递 or 按引用传递
    js中使用cookie
    Yii rules常用规则
    js倒计时发送验证码按钮
  • 原文地址:https://www.cnblogs.com/liujiacai/p/7773113.html
Copyright © 2011-2022 走看看