Linux学习系列之memcached

memcached简介

一、memcached是什么

• memcached是一个开源的、支持高性能、高并发的分布式内存缓存系统
• mem+cache+daemon:分布式内存缓存守护进程
• memcached是C/S架构,memcached是服务端,memcache是客户端

二、memcached的作用

2.1传统网站的问题

传统场景,多数web应用都将数据保存在数据库中,web服务器从中读取数据并在浏览器显示.但随着数据流的增大、访问的集中,数据库的负担就会出现加重、响应缓慢,导致网站打开延迟等问题

2.2memcached应用场景

2.2.1使用memcached的主要作用就是缓存数据库查询结果,减少数据库访问次数,以提高动态web应用的速度,提高可扩展性

2.2.2使用memcached缓存session

三、memcached作为数据库前端缓存读数据流程

Web程序先读memcached,如果memcached有数据则直接返回给Web程序,如果没有数据再读数据库,数据库把数据返回给Web程序之后,Web程序先将数据存到memcached一份,再返回给用户,下一次直接读memcached

四、memcached更新数据流程

应用服务器先更新数据库,再通知memcached更新对应的数据

五、memcached的特性

1.协议简单

memcached协议实现简单,采用基于文本行的协议,能通过Telnet/nc等命令直接操作memcached 

2.使用libevent作为事件处理通知机制

libevent将linux系统的epoll模型等事件处理功能封装成一个接口,确保服务器端的连接数增加也能发挥很好的性能 

3.key/value键值数据类型

被缓存的数据以key/value键值对的形式存在.如:oldboy:123,key=oldboy、value=123

六、memcached内存管理机制

memcached抛弃了通过malloc分配内存用完通过free回收内存的机制,这种方式容易产生内存碎片

memcached现在使用slab内存管理机制

slab class:在memcached中,对元素的管理是以slab为单元进行管理的,每个slab对应一个或多个chunk,参考图一

chunk:存放元素的最小单元.用户数据item(key/value等)最终会保存在chunk中

page:大下固定为1MB

1.如图一图二所示,slab分配算法把每1MB大小的内存称为一个slab页,每次向系统申请一个slab页,然后再通过分割算法把这个slab页分割成若干了大小相同的chunk,再把这些chunk分配给用户使用

2.如图一所示,每个slab class的chunk大小是按照1.25倍增加的,即下一个slab class中chunk的大小是上一个的1.25倍,也可以自己通过-f设置

3.如图三所示,当用户发来存储请求时(key/value),memcached会计算该key/value的大小,看看属于哪个slab,确定slab后看看里面是否有空闲chunk放该key/value,如果有就直接存进去;如果没有就再向系统申请一个page(如果此时已经达到启动memcached时-m设置的内存使用上限,如果启动时设置了-M就报错,否则就按照LRU规则删除元素),申请后将该page分配各slab class,切割成若干个相同大小的chunk,然后分配一个用来存.

4.如图四所示,memcached的slab分配算法也有弊端,假如要存储的key/value是100bytes,如果被分到图四中128bytes的chunk中的时候就造成了28bytes的浪费 

七、memcached的懒惰删除对象机制 

当删除item对象时,一般不释放内存空间,而是标记删除.memcached再分配空间时会优先使用已经过期的key/value空间

八、元素什么时候被踢出

如果元素还没有失效,但是已经达到启动memcached时-m指定的内存使用上限,如果启动memcached时指定了-M参数就报错,否则就按照LRU规则将元素踢出

九、LRU算法规则是什么

如果已经达到启动memcached时-m指定的内存使用上限,如果启动memcached时指定了-M参数就报错,否则就按照LRU规则将元素踢出

LRU算法就是:memcached会查找LRU列表中尾部(最近最少使用)的一些元素,看它们是否已经失效,如果存在已经失效的元素,则将此元素占用的空间重用.如果找不到失效的元素,那么就踢出尾部还没有失效的元素

十、memcached启动参数

十一、各类缓存软件对比

十二、memcached支持的语言

许多语言都实现了连接memcached的客户端
Perl
PHP
Python
Ruby
C#
C/C++
Lua

memcached服务管理

一、安装memcached

安装memcached依赖包
    [root@cache01 ~]# yum -y install libevent libevent-devel nc telnet 
安装memcached
    [root@cache01 ~]# yum -y install memcached 

二、启动memcached

[root@cache01 ~]# memcached -m 16m -p 11211 -d -u root  -c 8192

三、通过Telnet操作memcached

[root@MySQL ~]# telnet 127.0.0.1 11211   #连接memcached
Trying 127.0.0.1...
Connected to 127.0.0.1.
Escape character is '^]'.
set key 0 0 10              #添加key
oldboy                      #添加value


STORED                      #添加完成
        
get key                     #通过key获取的value
VALUE key 0 10
oldboy                      #这就是通过上边的key获取的value 
END                         #获取完成
        
delete key                  #通过key删除value
DELETED                     #删除成功
        
get key                     #获取value                  
END            
        
stats                       #查看memcached内部的状态
STAT pid 2686
STAT uptime 532
STAT time 1478130192
STAT version 1.4.4
STAT pointer_size 64
STAT rusage_user 0.118981
STAT rusage_system 0.177972
STAT curr_connections 10
STAT total_connections 13
STAT connection_structures 11
STAT cmd_get 2                   #获取了几次
STAT cmd_set 1                   #添加了几次
STAT cmd_flush 0
STAT get_hits 1                   #命中了几次
STAT get_misses 1                 #未命中几次
STAT delete_misses 0
STAT delete_hits 1
STAT incr_misses 0
STAT incr_hits 0
STAT decr_misses 0
STAT decr_hits 0
STAT cas_misses 0
STAT cas_hits 0
STAT cas_badval 0
STAT auth_cmds 0
STAT auth_errors 0
STAT bytes_read 1104
STAT bytes_written 69
STAT limit_maxbytes 16777216
STAT accepting_conns 1
STAT listen_disabled_num 0
STAT threads 4
STAT conn_yields 0
STAT bytes 0
STAT curr_items 0        
STAT total_items 1              #几个数据
STAT evictions 0

四、配置memcached作为LNMP环境session会话存储

4.1测试php连接memcached

4.1.1环境说明

lnmp	192.168.0.93	lnmp
memcached	192.168.0.95	memcached

4.1.2环境准备:

• LNMP环境搭建好,这里省略
• 必须能访问phpinfo界面

4.1.3memcached服务器端

启动memcached
    [root@memcached ~]# memcached -m 16m -p 11211 -d -u root -c 8192

4.1.4LNMP端

安装memcache客户端
    [root@lnmp02 tools]# tar -zxvf memcache-2.2.7
    [root@lnmp02 ~]# cd memcache-2.2.7
    [root@lnmp02 memcache-2.2.7]#  /application/php/bin/phpize 
     [root@lnmp02 memcache-2.2.7]# ./configure --enable-memcache --with-php-config=/application/php/bin/php-config --with-zlib-dir 
     [root@lnmp02 memcache-2.2.7]#make 
     [root@lnmp02 memcache-2.2.7]#make install 
在php.ini配置memcache
    [root@lnmp02 memcache-2.2.7]#vim /application/php/lib/php.ini  #编辑配置文件添加以下两行 
        extension_dir= "/application/php/lib/php/extensions/no-debug-non-zts-20090626/"
        extension= memcache.so
重启nginx和php-fpm
    [root@lnmp02 memcache-2.2.7]#/application/nginx/sbin/nginx  -s reload 
    [root@lnmp02 memcache-2.2.7]#pkill php-fpm 
    [root@lnmp02 memcache-2.2.7]#ps -ef|grep php-fpm
    [root@lnmp02 memcache-2.2.7]#/application/php/sbin/php-fpm 
测试php是否安装memcached
    windows端访问blog.etiantian.org/test.php(phpinfo界面)是否有memcache选项
编写php连接memcache访问程序
    [root@lnmp02 blog]# cd /application/nginx/conf/extra/blog.conf 
    [root@lnmp02 blog]# vim memcache.php 
    <?php
    $mem = new Memcache;
    $mem->connect("192.168.0.95", 11211);

    $mem->set('key1', 'This is first value', 0, 3600);
    $val = $mem->get('key1');
    echo "Get key1 value: " . $val ."<br />";

    $arr = array('aaa', 'bbb', 'ccc', 'ddd');
    $mem->set('key2', $arr, 0, 60);
    $val2 = $mem->get('key2');
    echo "Get key2 value: ";
    print_r($val2);
    echo "<br />";

    $mem->delete('key1');
    $val = $mem->get('key1');
    echo "Get key1 value: " . $val . "<br />";

    $mem->flush();
    $val2 = $mem->get('key2');
    echo "Get key2 value: ";
    print_r($val2);
    echo "<br />";

    $mem->close();
    ?>
测试php是否能连接memcached
    [root@lnmp02 memcache-2.2.7]#curl blog.etiantian.org/memcache.php
    Get key1 value: This is first value
    Get key2 value: Array ( [0] => aaa [1] => bbb [2] => ccc [3] => ddd ) 
    Get key1 value: 
    Get key2 value: 

4.2配置memcached为session共享

4.2.1LNMP端

修改php.ini配置文件为memcache存储session会话
    [root@lnmp ~]# vim /application/php/lib/php.ini            #修改以下内容
        session.save_handler = memcache
        session.save_path = "tcp://192.168.0.95:11211"
重启php-fpm
    pkill php-fpm
    [root@lnmp ~]# /application/php/sbin/php-fpm 

4.2.2测试

用客户端浏览器打开http://blog.etiantian.org/test.php(phpinfo界面)

4.2.3所有web服务端想实现session共享怎么办

在所有web服务器的php.ini加上memcache存储