ASP.NET使用Memcached高缓存实例

  Memcached 是一个高性能的分布式内存对象缓存系统，用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数，从而提供动态、数据库驱动网站的速度。Memcached作为缓存技术的解决方案，已经是众所周知了；现在很多WEB应用都在使用它——包括一些知名的网站。若你还不知道这些，请在阅读之前先了解一下。
        在ASP.NET中使用Memcached，有很多文章都有介绍，以下是我个人的使用经验。
        一，准备
        你需要有一下软件：
       VS.NET(05/08)
       SQLSERVER
       memcached服务器端以及客户端类库（开源软件，下载即可）
其中，客户端类库包括以下几个DLL：
       Memcached.ClientLibrary.dll
       ICSharpCode.SharpZipLib.dll
       log4net.dll
       二，安装memcached服务器端
       将memcached.exe复制到任意目录下，如 c：，在命令行输入：
memcached.exe -d install
memcached将作为一个服务常驻系统内存了
      三，建立ASP.NET工程
     创建一个ASP.NETWEB项目，命名为MMCWEB，添加以上提到的几个客户端类库的引用。
     四，配置
     memcached使用了log4net，所以我们先配置log4net
在web.config里找到configSections节点，添加以下内容
<section name="log4net" type="log4net.Config.Log4NetConfigurationSectionHandler, log4net" />

再在configSections节点之外，增加以下内容：
<log4net>
        <appender name="RollingLogFileAppender" type="log4net.Appender.RollingFileAppender">
            <param name="File" value="LogFiles/"/>
            <param name="AppendToFile" value="true"/>
            <param name="MaxSizeRollBackups" value="10"/>
            <param name="StaticLogFileName" value="false"/>
            <param name="DatePattern" value="yyyy-MM-dd&quot;.txt&quot;"/>
            <param name="RollingStyle" value="Date"/>
            <layout type="log4net.Layout.PatternLayout">
                <param name="ConversionPattern" value="%d{yyyy-MM-dd HH:mm:ss} [%thread] %-5level %logger %ndc - %message%newline"/>
            </layout>
        </appender>
        <appender name="ConsoleAppender" type="log4net.Appender.ConsoleAppender">
            <layout type="log4net.Layout.PatternLayout">
                <param name="ConversionPattern" value="%d{yyyy-MM-dd HH:mm:ss} [%thread] %-5level %logger %ndc - %message%newline" />
            </layout>
        </appender>
        <root>
            <level value="ALL" />
            <appender-ref ref="RollingLogFileAppender" />
            <appender-ref ref="ConsoleAppender" />
        </root>
        <logger name="Memcached.ClientLibrary">
            <level value="WARN" />

        </logger>
    </log4net>
启动调试，若没出现配置的出错提示，并且在网站目录下有文件夹LogFiles，就说明log4net配置成功了。

五，初始化SockIOPool
SockIOPool是什么东东？SockIOPool是Memcached客户端提供的一个套接字连接池，通俗讲，就是与Memcached服务器端交换数据的对象。SockIOPool在应用程序启动时初始化一次就可以了，我把这个工作放在 GLOBAL.ASAX.CS的Application_Start方法里
char[] separator = { ',' };
            string[] serverlist = ConfigurationManager.AppSettings["Memcached.ServerList"].Split(separator);

            // initialize the pool for memcache servers
            try
            {
                SockIOPool pool = SockIOPool.GetInstance();
                pool.SetServers(serverlist);

                pool.InitConnections = 3;
                pool.MinConnections = 3;
                pool.MaxConnections = 50;

                pool.SocketConnectTimeout = 1000;
                pool.SocketTimeout = 3000;

                pool.MaintenanceSleep = 30;
                pool.Failover = true;

                pool.Nagle = false;
                pool.Initialize();
            }
            catch (Exception err)
            {
                //这里就可以用Log4Net记录Error啦！
            }

注意AppSettings["Memcached.ServerList"]是在WEB.CONFIG里设置的，所以WEB.CONFIG的appSettings的子节点里需要有以下一行
<add key="Memcached.ServerList" value="127.0.0.1:11211"/>
启动调试服务器，若没有出错的日志记录，说明IO连接池已经开辟成功。
        六，使用Memcached
       终于进入正题了，不过使用之前，我们还需要准备一些数据。
      创建一个实体类People，并加上Serializable属性！！！
      对应的数据库里，增加一张表，字段对应实体类，插入一些测试数据。持久层和业务层的设计就略过了，他们负责向提供一些数据，返回类型可自定，若ILIST,DATASET。
     Memcached使用起来就很简单了，比如后台检索出一组People类型的数据，放在一个叫peopleList的arraylist里，而且这个arraylist要频繁使用，只需要这样
MemcachedClient mc = new MemcachedClient();
mc.EnableCompression = true;
mc.Set(key, peopleList);    
         上面的key是用来访问这个arraylist的键，Memcached里的数据都是保存为键-值对的。
一旦mc.KeyExists(key)为TRUE，就用return mc.Get(key) as ArrayList提取数据，删除时，使用 return mc.Delete(key);等等。可以自己琢磨了。

         以上只是演示，其实数据缓存是一项复杂而繁琐的工作，不仅需要后台代码的分层优化，也需要数据库对大数据量访问的策略和调优。

memcached client1.6使用文档

2009-02-10 13:49

假设我们有3台memcached 服务器,server1 和server2 有3GB 的内存空间,server3 有2GB 的内存空间.下面程序说明怎么来创建客户端.

import com.danga.MemCached.*;

public class MyClass {

// 创建一个 memcached 客户端对象

protected static MemCachedClient mcc = new MemCachedClient();

// 创建 memcached连接池

static

{ // 指定memcached服务地址
String[] servers =
{ "server1.mydomain.com:1121","server2.mydomain.com:1121", "server3.mydomain.com:1121" };
// 指定memcached服务器负载量
Integer[] weights ={ 3, 3, 2 };
// 从连接池获取一个连接实例

SockIOPool pool = SockIOPool.getInstance();

// 设置服务器和服务器负载量

pool.setServers( servers );

pool.setWeights( weights );

// 设置一些基本的参数

//设置初始连接数5 最小连接数 5 最大连接数 250

//设置一个连接最大空闲时间6小时

pool.setInitConn( 5 );

pool.setMinConn( 5 );

pool.setMaxConn( 250 );

pool.setMaxIdle( 1000 * 60 * 60 * 6 );

// 设置主线程睡眠时间

// 每隔30秒醒来 然后

// 开始维护 连接数大小

pool.setMaintSleep( 30 );

// 设置tcp 相关的树形

// 关闭nagle算法

// 设置 读取 超时3秒钟 set the read timeout to 3 secs

// 不设置连接超时

pool.setNagle( false );

pool.setSocketTO( 3000 );

pool.setSocketConnectTO( 0 );

// 开始初始化 连接池

pool.initialize();

// 设置压缩模式

//如果超过64k压缩数据

mcc.setCompressEnable( true );

mcc.setCompressThreshold( 64 * 1024 );

}

public static void examples() {

mcc.set( "foo", );

String bar = mcc.get( "foo" );

}

}

MemCachedClient 类 常用的方法说明

创建 client对象 设置参数:

MemCachedClient mc = new MemCachedClient();

//压缩模式
mc.setCompressEnable(true);

// 如果 cache数据 大于4 KB 就启用压缩
mc.setCompressThreshold(4096);

// 基本类型tostring方法
// 通常不需要设置
mc.setPrimitiveAsString(true);

存储一个对象:

MemCachedClient mc = new MemCachedClient();

String key = "cacheKey1";

Object value = SomeClass.getObject();

mc.set(key, value);

用客户端hashcode 存储一个对象:

MemCachedClient mc = new MemCachedClient();

String key = "cacheKey1";

Object value = SomeClass.getObject();

Integer hash = new Integer(45);

mc.set(key, value, hash);

set方法：在cache中存储一个指定对象

add 和replace 方法功能差不多

add -- 如果不存在 这个key的对象，将会存储一个对象到cache中
replace --只有当存在指定key对象的时候 会覆盖已有对象

删除一个对象:

MemCachedClient mc = new MemCachedClient();

String key = "cacheKey1";

mc.delete(key);

结合hashcode 删除一个对象:

MemCachedClient mc = new MemCachedClient();

String key = "cacheKey1";

Integer hash = new Integer(45);

mc.delete(key, hashCode);

怎么cache计数，增 减计数:

MemCachedClient mc = new MemCachedClient();

String key = "counterKey";

mc.storeCounter(key, new Integer(100));

System.out.println("counter after adding 1: " mc.incr(key));

System.out.println("counter after adding 5: " mc.incr(key, 5));

System.out.println("counter after subtracting 4: " mc.decr(key, 4));

System.out.println("counter after subtracting 1: " mc.decr(key));

利用客户端的hashcode存储计数 增减 计数:

MemCachedClient mc = new MemCachedClient();

String key = "counterKey";

Integer hash = new Integer(45);

mc.storeCounter(key, new Integer(100), hash);

System.out.println("counter after adding 1: " mc.incr(key, 1, hash));

System.out.println("counter after adding 5: " mc.incr(key, 5, hash));

System.out.println("counter after subtracting 4: " mc.decr(key, 4, hash));

System.out.println("counter after subtracting 1: " mc.decr(key, 1, hash));

获取一个对象:

MemCachedClient mc = new MemCachedClient();

String key = "key";

Object value = mc.get(key);

用客户端hashcode获取一个对象:

MemCachedClient mc = new MemCachedClient();

String key = "key";

Integer hash = new Integer(45);

Object value = mc.get(key, hash);

从cache 中获取多个对象

MemCachedClient mc = new MemCachedClient();

String[] keys ={ "key", "key1", "key2" };Mapvalues = mc.getMulti(keys);

用客户端hashcode() 从cache中获取多个对象

MemCachedClient mc = new MemCachedClient();
String[] keys = { "key", "key1", "key2" };


Integer[] hashes =
{ new Integer(45), new Integer(32), new Integer(44) };


Map<Object> values = mc.getMulti(keys, hashes);

清空所有的对象

MemCachedClient mc = new MemCachedClient();

mc.flushAll();

得到服务器memcached的状态信息

MemCachedClient mc = new MemCachedClient();

Map stats = mc.stats();

注意点

1：Failover/Failback

当一个memcached服务器失效的时候客户端默认会failover另一个服务去.

如果失效的服务器 恢复运行，客户端会返回到原来连接的服务器.
如果你不想用这个功能 设置下面的参数
pool.setFailover( false );
pool.setFailback( false );

2：序列化

Boolean

Byte
String
Character
StringBuffer
StringBuilder
Short
Long
Double
Float
Date
java默认的类型没有实现序列化 可以设置
mcc.setPrimitiveAsString( true )替代.

Meetup.com实践过程中得出的一个经验 ，项目中model 对象implement
Externalizable 实现序列化，可以节省cache 对象的大小。从而节省网络带宽和内存空间。