zoukankan      html  css  js  c++  java
  • asp.net 结合 memcache 进行分布式缓存的开发,结合mysql数据库

    在介绍 memcache之前,先来看看我服务器和本地的开发环境。

    服务器:windows 2003,iis 6, mysql + asp.net  2.0 运行的网站

    本地开发:win7+mysql+asp.net2.0  .之所以不用mssql2005/2008是因为考虑到付费的问题。

    一:memcache 简介

    在通常的应用中我们都会将数据保存到数据库中,每次需要的时候都会从数据库去查询这些数据,如果应用程序的用户很多就会出现大量并发访问数据库的情况,这样就会增加应用程序的响应时间,使用Memcached就可以有效解决这个问题。memcached是高性能的分布式内存缓存服务器软件。

    为了提高性能,Memcached中的数据都保存在Memcached内置的存储空间中。因为当Memcached重启会导致其中的数据全部丢失,所以一般的方案是将数据保存在数据库中,每次请求数据的时候先查看在Memcached有没有缓存,如果有就直接从缓存中取出数据;如果没有,就从数据库中取出数据返回给应用程序并将请求的数据缓存到Memcached中,这样一来下次请求相同的数据就可以直接从Memcached中读取而不用再去查数据库了;一旦对数据有更新,同时更新数据库和Memcached。


    Memcached是一个命令行窗口程序,可以在命令行窗口中启动也可以封装在系统服务中启动。在启动Memcached时需要提供一些必须的参数,指定Memcached运行时监听的端口和最大使用的内存大小等。如果缓存的数据大小超过指定内存,那么Memcached就会按照LRU(Least Recently Used/最久未使用)算法自动“删除”不使用的缓存(标记为失效),新增的缓存数据就可以使用这些标记为失效的数据所占用的内存,这样就不用担心Memcached超出所指定内存的问题。此外,为了提高性能,在缓存数据过期后Memcached并不是从物理内存中删除缓存的数据,仅仅在取出改数据的时候检查它是否已经过了有效期。


    目前有多种平台的Memcached版本,比如Linux、FreeBSD、Solaris (memcached 1.2.5以上版本)、Mac OS X及Windows平台,在Windows平台上还有32位和64位版本。


    Memcached有一套协议,利用这套协议可以对Memcached进行数据存取和查看Memcached的状态,很多程序语言都依据这套协议来操作Memcached,比如PHP、Java、C、C++及C#等。


    获取了对应平台的Memcached版本就可以运行Memcached了。在这里仅以Windows平台上的32位Memcached为例。

    二:memcache for windows 服务器端的软件下载与安装

    由于最近的项目是使用.NET作为开发平台,而且使用的是Windows 作服务器。所以,首先要找到Windows平台下的Memcached版本。

    下面,我将下载地址贴出来。

    http://download.csdn.net/detail/dinglang_2009/3733784 或者 点击此处直接下载

    三:如何用(有部分是转载别人的)

    下载好了Memcached之后,解压到任意目录下,例如:

    1. 解压缩文件到c:/memcached      进入cmd控制台(该不会有人问我这个cmd要怎么进去吧?)
        2. 命令行输入 'c:/memcached/memcached.exe -d install'       --安装 Memcached
        3. 命令行输入 'c:/memcached/memcached.exe -d start' ,该命令启动 Memcached ,默认监听端口为 11211。

    其实可以通过        memcached.exe -p 11211 -m 64    指定它的监听端口是11211(这是它的默认端口,可以指定为其它大于1024的端口,因为小于1024的端口已经有了默认指定),最大使用内存为64m,如果启用了Windows防火墙,切记要在防火墙上打开这个端口。

    注:通过 memcached.exe -h 可以查看其帮助     这里不多做介绍了

    在客户端还可以通过telnet来查看和操作Memcached,前提是服务器端和客户端都支持Telnet协议,在Windows7和Windows2008中默认都不支持,需要在控制面板中安装和启用。
    首先打开控制面板,然后点击“打开或关闭Windows功能”,如下图所示:

    image

    点击“打开或关闭Windows功能”之后会看到当前系统启用的功能的状态,根据当前机器选择打开Telnet服务器端或者客户端功能,如下图所示:

    image

    经过上面的操作之后就可以在客服端远程查看Memcached的状态或者操作Memcached了。下面的命令就是连接到Memcached:

    在dos窗口界面下   输入   telnet localhost 11211
    连接之后会出现一个命令行窗口,在这个命令行窗口中输入"stats"就可以看到当前Memcached的状态,如下图所示:

    image

    输入quit 指令,并按下Enter 退出

    通过这个数据我们就可以了解Memcached的状态了。
    这些数据所代表的意义如下:
    pid:32u,服务器进程ID。
    uptime:32u, 服务器运行时间,单位秒。
    time :32u, 服务器当前的UNIX时间。
    version :string, 服务器的版本号。
    curr_items :32u, 服务器当前存储的内容数量 Current number of items stored by the server
    total_items :32u, 服务器启动以来存储过的内容总数。
    bytes :64u, 服务器当前存储内容所占用的字节数。
    curr_connections :32u, 连接数量。
    total_connections :32u, 服务器运行以来接受的连接总数。
    connection_structures:32u, 服务器分配的连接结构的数量。
    cmd_get :32u, 取回请求总数。
    cmd_set :32u, 存储请求总数。
    get_hits :32u, 请求成功的总次数。
    get_misses :32u, 请求失败的总次数。
    bytes_read :64u, 服务器从网络读取到的总字节数。
    bytes_written :64u, 服务器向网络发送的总字节数。
    limit_maxbytes :32u, 服务器在存储时被允许使用的字节总数。

    上面的描述中32u和64u表示32位和64位无符号整数,string表示是string类型数据。

    四:memcache客户端的安装(.net版本)

    启动并配置好Memcached的服务端之后呢?我们下面该准备基于.NET平台的客户端了:

    据我总结,大概常见的有三四种吧。必要的类库或者源码,我都将提供给大家下载。

    1).NET memcached client library

    Memcached .NET客户端的类库,目前大概只支持.NET1.0和.NET2.0,笔者没仔细研究这个,估计这个已经过时啦。

    2)enyim.com Memcached Client

    源码地址:点击下载源码        (开源项目,可提供研究学习)

    Enyim也是应用比较广泛的Memcached .net客户端,和之前的Memchachedonet 客户端相比,分布式算法应该做了相应优化

    3)Memcached Providers

    下载地址:点击下载

    Memcached Providers的官网上有一份PDF的文档,是教你怎么配置的。英语不好的童鞋,可以直接参考我的配置(稍后会讲解)。

    4) BeIT Memcached

    这个笔者没用过,不做讲解了

    下载enyim.com Memcached Client 和 Memcached Providers,解压后会发现,enyim.com Memcached Client中,还包含了著名的Log4net日志框架。

    而Memcached Providers中其实包含了Enyim.Caching.dll,也包含了Log4netDLL

    Memcached Providers更强大,MemcachedProviders是对Enyim.Caching的再次封装,并加入了客户端计数器功能以及Session数据库管理功能

    当然,使用和配置起来也同样简单,方便,只是对于一些负责的操作和处理方面,功能更强大一些。

    如果只是简单的应用,推荐直接使用enyim.com Memcached Client。除了添加必要的Enyim.Caching.dll引用,还需要修改应用程序的配置文件。

    下面的代码贴出这两种方式的配置文件和测试代码:(放心,有详细的注释)

    image

    测试代码(实现最简单的功能)

    using System;
    using System.Collections.Generic;
    using System.Linq;
    using System.Web;
    using System.Web.UI;
    using System.Web.UI.WebControls;
    using Enyim.Caching;
    using MemcachedProviders.Cache;
    using System.Threading;
    
    namespace MemcachedProject
    {
        public partial class _Default : System.Web.UI.Page
        {
            protected void Page_Load(object sender, EventArgs e)
            {
                testMemcachedProviders();
            }
    
            /// <summary>  
            /// 测试Enyim.Caching(注意:Enyim.Caching只具有MemcachedProviders的一部分功能,后者更强大。还可以集成Log4Net日志框架)  
            /// </summary>  
            public void testEnyimCaching()
            {
                MemcachedClient client = new MemcachedClient("enyim.com/memcached");
                //存值  --不带过期时间的存储,Memcached将根据LRU来决定过期策略
                bool result = client.Store(Enyim.Caching.Memcached.StoreMode.Add, "name", "dinglang");
                //带过期时间的缓存  
                //bool success = client.Store(StoreMode.Add, person.UserName, person, DateTime.Now.AddMinutes(10)); 
                if (result)
                {
                    Response.Write("成功存入缓存");
    
                    //取值  
                    object name = client.Get("name");
                    if (name != null)
                    {
                        Response.Write("取出的值为:" + name);
                    }
                    else
                    {
                        Response.Write("取值失败");
                    }
                }
                else
                {
                    Response.Write("存入缓存失败");
                }
            }
            /// <summary>
            /// 使用MemcachedProviders客户端
            /// </summary>
            public void testMemcachedProviders()
            {
                string key = "myName";
                string value = "Dylan";
                bool result = false;
                string val = string.Empty;
                #region 存/取最简单的数据类型
                //如果缓存中没有,就尝试着去存入缓存
                if (DistCache.Get(key) == null)
                {
                    //DistCache.DefaultExpireTime = 1200;//缓存时间
                    result = DistCache.Add(key, value);           //存数据  
                    if (result)
                    {
                        //如果存入成功,就试着去取
                        Thread.Sleep(500);
                        string ret = (string)DistCache.Get(key);            //读数据  
                        //Assert.AreEqual(value, ret);                     //验证  
                        if (ret != null)
                        {
                            Response.Write(ret);
                            Response.Write("<br/>");
                        }
                        else
                        {
                            //取出来的值为null,直接移除该缓存对象
                            DistCache.Remove(key);//移除
                            // DistCache.RemoveAll();//移除所有                     
                        }
                    }
                }
                else
                {
                    //缓存中有,直接拿数据
                    string ret = (string)DistCache.Get(key);
                    if (ret != null)
                    {
                        Response.Write(ret);
                        Response.Write("<br/>");
                    }
                    else
                    {
                        DistCache.Remove(key);
                    }
                }
                #endregion
    
                #region  存/取一个Person对象
                Person person = new Person() { Id = 007, Name = "Dylan" };//new 一个Person对象的实例
                //如果缓存中没有,则尝试着放入缓存
                if (DistCache.Get<Person>("myObj") == null)
                {
                    result = DistCache.Add("myObj", person);
                    if (result)
                    {
                        Thread.Sleep(500);
                        val = DistCache.Get("myObj").ToString();
                        if (val != null)
                        {
                            Response.Write(val);
                            Response.Write("<br/>");
                        }
                        else
                        {
                            DistCache.Remove("myObj");
                        }
    
                    }
                }
                else
                {
                    //缓存中已经有该对象,就直接从缓存取
                    Person p = DistCache.Get<Person>("myObj");
                    val = person.ToString();
                    //也可以直接这样取
                    // val = DistCache.Get("myObj").ToString();
    
                    if (val != null)
                    {
                        Response.Write(val);
                        Response.Write("<br/>");
                    }
                    else
                    {
                        DistCache.Remove("myObj");
                    }
    
                }
                #endregion
            }
        }
    }
    Person类的定义代码:
    这里需要说明的是如果我们需要向Memcached中添加自定义数据类型时,我们需要将该数据类型添加上[Serializable]标记。

    [Serializable] public class Person { private int id; public int Id { get { return id; } set { id = value; } } private string name; public string Name { get { return name; } set { name = value; } } /// <summary> /// 重写Tostring(),方便输出验证 /// </summary> /// <returns></returns> public override string ToString() { return "Person:" + "{name:" + Name + ",id:" + Id + "}"; } }
    web.config 配置信息:
    <?xml version="1.0"?>
    
    <!--
      有关如何配置 ASP.NET 应用程序的详细信息,请访问
      http://go.microsoft.com/fwlink/?LinkId=169433
      -->
    
    <configuration>
    
        <!--Enyim.Caching配置(省略了Log4Net框架)   For Memcached-->
    
        <!--<configSections>
        <sectionGroup name="enyim.com">
          <section name="memcached" type="Enyim.Caching.Configuration.MemcachedClientSection, Enyim.Caching" />
        </sectionGroup>
      </configSections>
      <enyim.com protocol="Binary">
        <memcached>
          <servers>
            <add address="127.0.0.1" port="11121"  />
          </servers>
          <socketPool minPoolSize="10" maxPoolSize="100" connectionTimeout="00:00:10" deadTimeout="00:02:00" />
        </memcached>
      </enyim.com>-->
    
        <!--The Enyim.Caching配置 End -->
    
        <!--MemcachedProviders的配置  -->
        <configSections>
            <section name="cacheProvider" type="MemcachedProviders.Cache.CacheProviderSection, MemcachedProviders"
                  allowDefinition="MachineToApplication" restartOnExternalChanges="true"/>
            <sectionGroup name="enyim.com">
                <section name="memcached" type="Enyim.Caching.Configuration.MemcachedClientSection, Enyim.Caching" />
            </sectionGroup>
            <section name="log4net" type="log4net.Config.Log4NetConfigurationSectionHandler,log4net"/>
        </configSections>
        <cacheProvider defaultProvider="MemcachedCacheProvider">
            <providers>
                <add name="MemcachedCacheProvider"
               type="MemcachedProviders.Cache.MemcachedCacheProvider, MemcachedProviders"  keySuffix="_MySuffix_" defaultExpireTime="2000"/>
            </providers>
        </cacheProvider>
        <enyim.com>
            <memcached>
                <servers>
                    <!-- put your own server(s) here-->
                    <add address="127.0.0.1" port="11121" />
                </servers>
                <socketPool minPoolSize="10" maxPoolSize="100" connectionTimeout="00:00:10" deadTimeout="00:02:00" />
            </memcached>
        </enyim.com>
    
        <log4net>
            <appender name="ConsoleAppender" type="log4net.Appender.ConsoleAppender">
                <layout type="log4net.Layout.PatternLayout">
                    <conversionPattern value="%date [%thread] %-5level %logger [%property{NDC}]- %message%newline" />
                </layout>
            </appender>
            <root>
                <priority value="WARN"/>
                <appender-ref ref="ConsoleAppender">
                    <filter type="log4net.Filter.LevelRangeFilter">
                        <levelMin value="WARN"/>
                        <levelMax value="FATAL"/>
                    </filter>
                </appender-ref>
            </root>
        </log4net>
    
        <!--The MemcachedProviders配置 End  配置结束,下面的都是一些其他的配置,例如连数据库之类的,和我们的  memcache 无关-->
    
        <connectionStrings>
            <add name="ApplicationServices"
                 connectionString="data source=.\SQLEXPRESS;Integrated Security=SSPI;AttachDBFilename=|DataDirectory|\aspnetdb.mdf;User Instance=true"
                 providerName="System.Data.SqlClient" />
        </connectionStrings>
    
    
        <system.web>
            <compilation debug="true" targetFramework="4.0" />
    
            <authentication mode="Forms">
                <forms loginUrl="~/Account/Login.aspx" timeout="2880" />
            </authentication>
    
            <membership>
                <providers>
                    <clear/>
                    <add name="AspNetSqlMembershipProvider" type="System.Web.Security.SqlMembershipProvider" connectionStringName="ApplicationServices"
                         enablePasswordRetrieval="false" enablePasswordReset="true" requiresQuestionAndAnswer="false" requiresUniqueEmail="false"
                         maxInvalidPasswordAttempts="5" minRequiredPasswordLength="6" minRequiredNonalphanumericCharacters="0" passwordAttemptWindow="10"
                         applicationName="/" />
                </providers>
            </membership>
    
            <profile>
                <providers>
                    <clear/>
                    <add name="AspNetSqlProfileProvider" type="System.Web.Profile.SqlProfileProvider" connectionStringName="ApplicationServices" applicationName="/"/>
                </providers>
            </profile>
    
            <roleManager enabled="false">
                <providers>
                    <clear/>
                    <add name="AspNetSqlRoleProvider" type="System.Web.Security.SqlRoleProvider" connectionStringName="ApplicationServices" applicationName="/" />
                    <add name="AspNetWindowsTokenRoleProvider" type="System.Web.Security.WindowsTokenRoleProvider" applicationName="/" />
                </providers>
            </roleManager>
    
        </system.web>
    
    
    
    
        <system.webServer>
            <modules runAllManagedModulesForAllRequests="true"/>
        </system.webServer>
    </configuration>
    

    关于Memcached的基础部分,就先讲到这里。后续,我将会整理一些关于Memcached的高级技术,包括:复杂的存储(缓存/更新)控制模型,缓存策略,在分布式、集群、负载均衡的环境下的使用和管理技巧,性能监控,日志记录等.敬请期待。

    本文出自blog.csdn.net/dinglang_2009,转载请注明出处。未经本人允许,任何人不得借此牟利。

    Memcached系列文章汇总:

    memcached单点故障与负载均衡

    memcached性能监控

    在Windows .NET平台上使用memcached

    五:其他的一些问题的解答

    1:Memcached 集群架构方面的问题

  • 相关阅读:
    Peewee中join三张及以上的表时只能获取一张表的数据
    Ubuntu18.04安装 NVIDIA显卡驱动+CUDA+cuDNN+Pytorch
    Kubernetes Deployment 并行重启Pod
    git config 配置用户名、邮箱
    Python __str__() 方法
    阅读-自律100天-SMART法则
    Jenkins 调用执行jmeter脚本,并直接生成html报告
    推荐一款开源的Diffy自动化测试框架(转)
    mysql binlog日志自动清理及手动删除
    大数据测试
  • 原文地址:https://www.cnblogs.com/joeylee/p/2734312.html
Copyright © 2011-2022 走看看