zoukankan      html  css  js  c++  java
  • 范式与反范式的应用(二)(转)

      原文:http://www.cnblogs.com/dylantang/archive/2008/07/17/1245132.html

          前面详细的介绍了三个范式的概念,都是一些基本的概念,权当是一个铺垫,本文需要讲述的是在大众点评网的发展过程中,反范式的运用以及范式的回归。

    反范式的应用 

      反范式的讨论在网上已经很多,之所以应用反范式,当然是为了查询的效率,当点评网成为众多喜欢美食的网友每天必上的网站之后,数据库增加了大量的数据,如果完全按照范式来进行设计,那查询将是致命的。

      举个例子,要查询社区里面最新的10个帖子,如果按照范式设计,那么将关联两个表,一张是帖子表,另外一张是会员表,整个查询如下:

    SELECT TOP 10 N.帖子标题, U.会员昵称,N.会员ID FROM 帖子表 N

    JOIN 会员表 U

    ON N.会员ID=U.会员ID

    ORDER BY N.帖子ID DESC

      这样的查询将产生两个聚集索引扫描,一个在帖子表上,另外一个在会员表上,然后再进行嵌套循环,当数据不多的时候,这样的查询没有问题,当两张 表都是百万数量级的时候,问题出现了,这个查询动不动就是几百毫秒,甚至更慢,这样的查询效率根本不能满足点评网对于网页速度的要求(一般不能超过100 毫秒),怎么办,当然要反范式,在帖子表里面添加冗余字段——会员昵称,这样我们就可以通过下面的查询达到同样的目的:

    SELECT TOP 10 帖子标题, 会员昵称,会员ID FROM 帖子表 ORDER BY 帖子ID DESC

      这个查询只需要通过一个聚集索引扫描就可以得到(用到哪个索引还会跟ORDER BY后面的字段有关,例子中用的是Primary Key作为排序的字段,所以用到的是聚集索引扫描),将两个查询放在一起查看执行计划,就会发现,第一个查询开销占了92%,而第二个才8%,也就是说, 第二个查询比起第一个查询,效率上优化了10倍以上,成果显著啊。

      于是,在点评网的这个阶段,大量的冗余字段出现在表的设计当中,主要集中在会员的昵称以及商户的名称上,一方面,这些信息在其他应用中频繁的用到,另外一方面,这两个信息所在的主表都是特别大的表,做关联查询消耗太大,而且容易造成资源的争夺。

      但是新的问题随之产生,每当一个会员去更新自己的昵称的时候,我们会执行一个存储过程,这个存储过程的目的就是去更新大量的会员昵称的冗余字 段,这些更新对于一个活跃会员来说,将是非常耗时的,因为需要更新的数据实在太多,而Web 2.0的精髓之一就是个性化,这样的设计对于个性化来说,有着不可调和的矛盾。于是,范式就像王者一样归来了。

    王者归来

      范式这个王者的归来,也是需要一定的时机的。

      时机1:网站规模的发展,已经造成反范式的副作用越来越大;

      时机2:公司规模的发展,已经有足够的财力建立更好的硬件平台;

      于是,我们选择了Memcached, 一个分布式的缓存系统,我们将会员信息以实体类的方式保存在Memcached里面,只要是可序列化的数据,经过装箱和拆箱,都可以保存到 Memcached中并随时可以快速的访问到这些对象,Memcached可以解决大量数据的缓存并保持多台Web Server得到的缓存数据是一致的,于是,前面那个例子可以通过这样的查询来进行

    SELECT TOP 10 帖子标题,会员ID FROM 帖子表 ORDER BY 帖子ID DESC

      然后再通过缓存系统封装的批量读取的方法得到这些会员的昵称,再显示到网页上,于是,访问速度快了,冗余数据没了,只要有一套完善的缓存管理机 制,问题就迎刃而解了。有时候,你还会因为这样的查询得到一些惊喜,因为会员ID是一个整型的字段,当你用一些非PK的字段作为排序的字段时,可以把会员 ID包含在其索引里面(SQL Server 2005新特性),这样在索引扫描后可以避免一次聚集索引扫描,再一次的提高了查询效率。

      相信对于这个问题的讨论是不会结束的,随着点评网的继续发展,新的问题必然还会产生,互联网就是要随需应变,到时候再来跟大家分享。

  • 相关阅读:
    OpenCMS创建导航条
    C++笔记(2)面向对象编程
    C++笔记(3)模板与泛型编程
    多线程和信号量
    C++笔记(4)用于大型程序的工具
    C++笔记(5)特殊工具与技术
    C++笔记(1)类
    Effective C++ 笔记(1)
    C语言笔记整理(2)
    C语言笔记整理(3)
  • 原文地址:https://www.cnblogs.com/ajianbeyourself/p/3630306.html
Copyright © 2011-2022 走看看