zoukankan      html  css  js  c++  java
  • 转:构建高性能ASP.NET站点之三 细节决定成败

    本篇的议题如下:

    问题的描述

    细节的重要性

      问题的描述

      首先,描述一下故事的背景:(希望大家耐心的故事读完)

      在网站中,网页中的分页控件每次显示10条数据,每次点击下一页,就再次去取下一个10条数据。至于分页的方法怎样做,方法有很多,相信这点大家都知道。

      过程是这样的:在用户请求数据的时候(考虑到了用户的操作和网站的访问量)我会第一次取出500条数据,然后把数据放在缓存中,也就是说,我取出了50页的数据,放在缓存中,这样如果,以后用户请求第一页到第49页的时候,就直接从缓存中拿数据。

      如下图:

      

     
      第一个数据块:

      采用键值对的形式:字典保存

      如果用户请求到了49页以后,那么就再次从数据库中取出下一个数据块(包含5011000数据),然后,现在内存中就有了1000条数据。

      至于缓存多久,数据什么失效,失效后怎么做,这里暂不谈论。(网站在这种缓存策略下运行的很好)。 

      代码如下:

    List<Product> products=GetDataFromCacheOrDatabase(condition,pageIndex,count….);

      代码的意思很清楚,从缓存中拿数据,如果缓存中没有对应的数据,那么就先从数据库中拿500条数据,然后放在缓存中,最后返回10条数据。

      后来,因为某些功能的需要,需要返回当前页的前6页数据和后6页的数据,例如:如果当前页是第12页,那么就要返回12页之前6Product(也就是第6,7,8,9,10,11页的数据),和第12页后的页的Product(第13,14,15,16,17,18页的数据)。 

      如下:

      

     

      当然,如果当前页是第5页,那么就把之前所有5页的数据都返回,另外再加上第5页之后的6页数据。

      这里就可能涉及到跨块获取数据,如:

      如果当前页是第48页的时候,那么返回前6页数据是没有什么问题的,那么后6页的数据就不足了,因为49,40也得数据可以从缓存的数据块中取到,至于51,52,53,54页的数据,就需要再次从数据库中读取,然后再次缓存(如果事先没有被缓存)。

      最后在缓存中的数据如下:

       

      然后调用方法:(伪码)

     

    List<Product> products=GetDataFromCacheOrDatabase(condition,42126….); 

     

      上面传入的是从第42页开始的数据,也就是第48页的前6页和后6页的数据。

      这个方法的内部实现是这样的:

        1.    首先从第一个数据块中取出42页到50页的数据

        取出数据后保存在一个List<Product> firstProductList;

        2.    从第二个数据块中取出从51页到54页(如果第二个数据块在缓存不存在,就去数据库中取501-1000条,然后再放在缓存的第二个数据块中)。

        保存在第二个List<Product> secondProductList

        3. 然后把两个list合并,返回结果。例如

               secondProductList.Foreach(u=>firstProductList.Add(u));

      基本的实现就是这样,看起来还行,也比较的合理,但是就是因为这个操作,从而导致服务器内存溢出。

      大家想想看是什么原因。

      细节的重要性

      其实缓存的数据不是很多,是不足以让服务器内存溢出的,但是服务器还是出现了out of memory的异常。之前一直跑的很好,就是改了代码之后才出现问题的。

      其实这就是由于一个最基本的错误产生的:引用类型。

      下面就来分析下:

      首先是从第一个数据块中取出数据,然后用

        List<Product> firstProductList 引用指向取出的数据

      然后从第二个数据块中取出数据,用

        List<Product> secondProductList指向数据的引用

      如下图

     
      在第三步中采用

        secondProductList.Foreach(u=>firstProductList.Add(u));

      把secondProductList中的数据加入到firstProductList中,就因为是引用类型,其实实际操作的结果是:不断的在改变第一个数据块中的数据,使得第一个数据块中的数据逐渐的变多。

      现在当前页是48页,采用上面的操作,致使第一个数据块中的数据增加了60条,

      如果用户再次翻页,到了49页,那么第一个数据块中的数据又增多了60

      依此类推,最后导致了服务器内存的不足,致使服务器崩溃了。原本的“功臣”----缓存却成为了罪魁祸首。

      其实这个问题的解决,只要改变一点点的代码就行了:

        List<Product> firstProductList

        List<Product> secondProductList

      然后

      List<Product> resultProductList=new List<Product>();然后分别把firstProductListsecondProductList遍历,加入到resultProductList就行了。

    就这么简单。

      一个小的细节,导致了大的问题。 

      

      不要忽视每一个细节。不要做没有比较的循环等操作,一定要审视代码,重构代码。 

    转自:http://www.cnblogs.com/yanyangtian/archive/2010/08/17/1801129.html

  • 相关阅读:
    spring boot在控制台输出彩色日志
    springboot之使用@ConfigurationProperties注解
    spirng boot打包成war部署
    spring boot 使用不同的profile来加载不同的配置文件
    spring boot 扩展之AutoConfigurationImportListener
    spriing boot 启动报错:Cannot determine embedded database driver class for database type NONE
    jvisualvm 远程连接jboss
    解决xshell4中文乱码
    zookeeper的简单使用
    Spring框架中InitializingBean执行顺序
  • 原文地址:https://www.cnblogs.com/KingStar/p/1952302.html
Copyright © 2011-2022 走看看