zoukankan      html  css  js  c++  java
  • memcache的内存管理机制

    Memcache使用了Slab Allocator的内存分配机制:按照预先规定的大小,将分配的内存分割成特定长度的块,以
    完全解决内存碎片问题
    Memcache的存储涉及到slab,page,chunk三个概念
    1.Chunk为固定大小的内存空间,默认为96Byte。
    2.page对应实际的物理空间,1个page为1M。
    3.同样大小的chunk又称为slab。
    Memcached再启动的时候根据-n和-f参数,产生若干slab。具体应用中Memcache每次申请1page,并将这1M空间分割成若干个chunk,这些chunk有着同样的大小,属于同一个slab。
    【添加】,通过memcache添加item的时候:
    1.  Memcache计算item的大小(key+value+flags),选取合适的slab(刚好能放下该item的slab)
    2.  如果这个item对应的slab未出现过,则申请1个page(注意,这1M空间不论是否达到memcached使用内存都可以申请成功)并加该item存入slab中的chunk
    3.  如果item对应的slab出现过,则在该slab中优先选择expired(free_chunks)和delete(在1.2.2中delete的chunk存在着不能被重复利用的问题)的chunk进行存储,其次将选择未使用过的chunk(free_chunks_end)进行存储。
    4.  如果item对应的slab出现过,但是对应的slab已经存储满了,那么会申请一个新的page,这个page被分为对应大小的chunk,继续存储。
    5.  如果item对应的slab出现过,但是对应的slab已经存储满了并且memcache也达到了最大内存使用。将使用lru算法,清除item(可能将未过期的item清除)此时会有eviction++
    【删除】:
    1.  Delete操作只是将该chunk置为删除状态,这样在下次使用将优先利用这样的chunk。
    【flush】
    1.  Flush操作相当于将所有的item失效的一个动作。并不会改变memcache内存分配情况。
    一些注意
    1. memcache已经分配的内存不会再主动清理。
    2. memcache分配给某个slab的内存页不能再分配给其他slab。
    3. flush_all不能重置memcache分配内存页的格局,只是给所有的item置为过期。
    4. memcache最大存储的item(key+value)大小限制为1M,这由page大小1M限制
    5.由于memcache的分布式是客户端程序通过hash算法得到的key取模来实现,不同的语言可能会采用不同的hash算法,同样的客户端程序也有可能使用相异的方法,因此在多语言、多模块共用同一组memcached服务时,一定要注意在客户端选择相同的hash算法
    6.启动memcached时可以通过-M参数禁止LRU替换,在内存用尽时add和set会返回失败
    7.memcached启动时指定的是数据存储量,没有包括本身占用的内存、以及为了保存数据而设置的管理空间。因此它占用的内存量会多于启动时指定的内存分配量,这点需要注意。
    8.memcache存储的时候对key的长度有限制,php和C的最大长度都是250

  • 相关阅读:
    ASP.NET WEB应用程序(.network4.5)MVC Razor视图引擎2 视图模板页
    ASP.NET WEB应用程序(.network4.5)MVC Razor视图引擎2 视图引用资源
    ASP.NET WEB应用程序(.network4.5)MVC Razor视图引擎2 Areas区域说明
    ASP.NET WEB应用程序(.network4.5)MVC Razor视图引擎2 HtmlHelper-超链接方法
    ASP.NET WEB应用程序(.network4.5)MVC Razor视图引擎2
    (Dijkstra)hdu2544 最短路 Dijkstra算法
    (map,c_str())水果 hdu1263
    (贪心 部分背包问题)悼念512汶川大地震遇难同胞——老人是真饿了 hdu2187
    (贪心部分背包问题)Saving HDU HDU2111
    (选择不相交区间)今年暑假不AC hdu2037
  • 原文地址:https://www.cnblogs.com/work115/p/5585512.html
Copyright © 2011-2022 走看看