zoukankan      html  css  js  c++  java
  • PHP-Header缓存策略

    Expires、Cache-Control、Last-Modified、ETag 是RFC 2616(HTTP/1.1)协议中和网页缓存相关的几个字段。前两个用来控制缓存的失效日期,后两个用来验证网页的有效性。要注意的是, HTTP/1.0有一个功能比较弱的缓存控制机制:Pragma,使用HTTP/1.0的缓存将忽略Expires和Cache-Control头。我们 这里以Apache2.0服务器为例,只讨论HTTP/1.1协议。
    Expires
        Expires字段声明了一个网页或URL地址不再被浏览器缓存的时间,一旦超过了这个时间,浏览器都应该联系原始服务器。RFC告诉我们:“由于推断的失效时间也许会降低语义透明度,应该被谨慎使用,同时我们鼓励原始服务器尽可能提供确切的失效时间。”
        对于一般的纯静态页面,如html、gif、jpg、css、js,默认安装的Apache服务器,不会在响应头添加这个字段。Firefox浏览器接受 到相应后,如果发现没有Expires字段,浏览器根据文件的类型和“Last-Modified”字段来推断出一个合适的失效时间,并存储在客户端。推 测出的时间一般是接受到响应时间后的三天左右。
        Apache的expires_module模块可以在Http响应头部自动加上Expires字段。在Apache的httpd.conf文件中进行如下配置:
    #启用expires_module模块
    LoadModule expires_module modules/mod_expires.so
    # 启用有效期控制
    ExpiresActive On
    # GIF有效期为1个月
    ExpiresByType image/gif A2592000
    # HTML文档的有效期是最后修改时刻后的一星期
    ExpiresByType text/html M604800
    #以下的含义类似
    ExpiresByType text/css “now plus 2 month”
    ExpiresByType text/js “now plus 2 day”
    ExpiresByType image/jpeg “access plus 2 month”
    ExpiresByType image/bmp “access plus 2 month”
    ExpiresByType image/x-icon “access plus 2 month”
    ExpiresByType image/png “access plus 2 month”
    对 于动态页面,如果在页面内部没有通过函数强制加上Expires,例如header(”Expires: ” . gmdate(”D, d M Y H:i:s”) . ” GMT”),Apache服务器会把Wed, 11 Jan 1984 05:00:00 GMT作为Expires字段内容,返回给浏览器。即认为动态页面总是失效的。而浏览器仍然会保存已经失效的动态页面。
    可以发现 Firefox浏览器总是缓存所有页面,不管失效、不失效还是没有声明失效时间。即使缓存中声明了一个网页的实效日期是 1970-01- 01 08:00:00,浏览器仍然会发送该文件在缓存中的Last-Modified和ETag字段。如果在服务器端验证通过,返回304状态,浏览器就还会 使用此缓存。
    Cache-Control
        Cache-Control字段中可以声明多些元素,例如no-cache, must-revalidate, max-age=0等。这些元素用来指明页面被缓存最大时限,如何被缓存的,如何被转换到另一个不同的媒介,以及如何被存放在持久媒介中的。但是任何一个 Cache-Control指令都不能保证隐私性或者数据的安全性。“private”和“no-store”指令可以为隐私性和安全性方面提供一些帮 助,但是他们并不能用于替代身
    份验证和加密。
         Apache的mod_cern_meta模块允许文件级Http响应头部的控制,同时它也可以配置Cache-Control头(或任何其他头)。响应 头文件是放在原始目录的子目录中,根据原始文件名所命名的一个文件。具体用法请参阅Apache的官方网站。其中Cache-Control : max-age表示失效日期。如果没有启动mod_cern_meta模块,Apache服务器会把Expires字段中的日期换算成以秒为单位的一个 delta值,赋值给max-age。如果启动mod_cern_meta模块,并且配置了max-age值,Apache会将这个覆盖Expires字 段。同时,max-age隐含了Canche-Control: public。这样浏览器接受到的Cache-Control : max-age和Expires值就是一致的。
        如果失效日期Cache-Control : max-ag=0或者是负值,浏览器会在对应的缓存中把Expires设置为1970-01-01 08:00:00。
    Last-Modified
        Last-Modified和ETag是条件请求(Conditional Request)相关的两个字段。如果一个缓存收到了针对一个页面的请求,它发送一个验证请求询问服务器页面是否已经更改,在HTTP头里面带上” ETag”和”If Modify Since”头。服务器根据这些信息判断是否有更新信息,如果没有,就返回HTTP 304(NotModify);如果有更新,返回HTTP 200和更新的页面内容,并且携带新的”ETag”和”LastModified”。
        使用这个机制,能够避免重复发送文件给浏览器,不过仍然会产生一个HTTP请求。
    一般纯静态页面本身都会有Last-Modified信息,Apache服务器会读取页面文件中的Last-Modified信息,并添加到http响应头部。
        对于动态页面,如果在页面内部没有通过函数强制加上Last-Modified,例如header(”Last-Modified: ” . gmdate(”D, d M Y H:i:s”) . ” GMT”),Apache服务器会把当前时间作为Last-Modified,返回给浏览器。
       无论是纯静态页面还是动态页面,Firefox浏览器巧妙地按照接受到服务器响应的时间设置缓存页面的Last-Modified,而不是按照http响应头部中的Last-Modified字段。
    ETag
       既然有了Last-Modified,为什么还要用ETag字段呢?因为如果在一秒钟之内对一个文件进行两次更改,Last-Modified就会不正确。因此,HTTP/1.1利用Entity Tag头提供了更加严格的验证。
        Apache服务器默认情况下,会对所有的静态、动态文件的响应头添加ETag字段。在Apache的httpd.conf文件中可以通过FileETag指令配置该选项。
       FileETag指令配置了当文档是基于一个文件时用以创建 Etag(entity tag)响应头的文件的属性。在Apache 1.3.22及以前,ETag的值是对文件的索引节(INode),大小(Size)和最后修改时间(MTime)进行Hash后得到的。如果一个目录的 配置包含了‘FileETag INode MTime Size’而其一个子目录包含了‘FileETag -INode’那么这个子目录的设置(并会被其下任何没有进行覆盖的子目录继承)将等价于‘FileETag MTime Size’。
        在多台负载平衡的服务器环境下,同一个文件会有不同的etag或者文件修改日期,浏览器每次都会重新下载。设置‘FileETag None’可以使响应头不再包含ETag字段。
    三种典型web服务器Header设置内容过期方法
    一、Internet 信息服务 (IIS)的内容过期设置
    如果IIS 网站中有时间敏感信息,可以配置设置来保证过期信息不被代理服务器或 Web 浏览器缓存。可以配置网站内容,使之在任
    何的时间自动过期。当启用内容过期时,Web 浏览器将比较当前日期和截止日期,以便决定是显示缓存页还是从服务器请求更新的页
    。Microsoft ASP.NET 这样的服务器端技术可用于动态更改提供的内容。通常,时间敏感信息只限于单个文件、目录或网站;不过,您也可以为某台计算机上的所有网站设置内容过期。
    必须是本地计算机上 Administrators 组的成员或者必须被委派了相应的权限,才能执行下列步骤。作为安全性的最佳操作,请使用不属于 Administrators 组的帐户登录计算机,然后使用运行方式命令以管理员身份运行 IIS管理器
    在命令提示符下,键入 runas /user:administrative_accountname “mmc %systemroot%system32inetsrviis.msc”。
    设置网站内容的过期时间
    1. 在 IIS 管理器中,展开本地计算机;右键单击要设置内容过期的网站、虚拟目录或文件,然后单击“属性”。
    2. 单击“HTTP 头”选项卡。
    3. 选中“启用内容过期”复选框。
    4. 单击“立即过期”、“此时间段后过期”或“过期时间”,然后在对应的框中输入所需的过期信息。
    5. 单击“确定”。
    二、APACHE服务的内容过期设置
    Apache配置摘录及解释
    i. 过期相关设置
    LoadModule headers_module modules/mod_headers.so
    #Load 修改header的模块。
    LoadModule expires_module modules/mod_expires.so
    #Load 设定过期header的模块。
    Header append Via: CCN-BJ-4-502
    #增加一个Via header,值配置成设备的hostname。
    KeepAliveTimeout 60
    #设置连接的保持时间为60秒。
    ExpiresActive On
    #启用过期header功能。
    ExpiresDefault A604800
    #缺省过期时间为“访问后的604800秒”
    <Directory /data/download>
    Options FollowSymLinks
    AllowOverride None
    Order allow,deny
    Allow from all
    ExpiresByType text/html A300
    #text/html类型文件的过期设置为“访问后的300秒”
    ExpiresByType text/css A259200
    #text/css类型文件的过期设置为“访问后的259200秒”
    ExpiresByType application/x-javascript A300
    # application/x-javascript类型文件的过期设置为“访问后的300秒”
    ExpiresByType image/gif A2592000
    #image/gif类型文件的过期设置为“访问后的2592000秒”
    ExpiresByType application/x-shockwave-flash A2592000
    # application/x-shockwave-flash类型文件的过期设置为“访问后的2592000秒”
    </Directory>
    上述配置文件中load的两个模块:mod_headers.so  和mod_expires.so 可以让Apache具有对header的一些定制功能。
    ExpiresByType:     表示按照文件类型-MIME-TYPE设定过期策略;
    A300: 表示在Access后300秒后过期;
    ExpiresByType text/css A2592000:    表示Mime type是text/css的文件,在Access后2592000秒过期。
    ExpiresDefault A604800:  表示除了单独制定的文件类型等过期策略外的其他内容,按照这个缺省的策略设定:访问后604800秒过期。
    上面的方法可以实现根据web发布的不同文件类型,针对不同的发布目录进行过期策略设置。在按照如上方法设置后,Apache会自动的产生两个相关的http header,举例如下:
    HTTP/1.1 200 OK
    Date: Tue, 27 Mar 2007 17:44:21 GMT
    Server: Apache/2.0.54 (Unix)
    Last-Modified: Thu, 25 Jan 2007 07:45:45 GMT
    ETag: “72df3a-93-99499c40”
    Accept-Ranges: bytes
    Content-Length: 147
    Cache-Control: max-age=2592000
    Expires: Thu, 26 Apr 2007 17:44:21 GMT
    Via: CCN-BJ-4-575
    Keep-Alive: timeout=60, max=100
    Connection: Keep-Alive
    Content-Type: image/gif
    Length: 147 [image/gif]
    其 中:Date + Max-age = Expires.  Max-age是个时间长度,对应web server上面设置的过期时间;Expires是根据max-age算出来的过期时间点,两者是一致的,不同cache在判断内容是否过期时会严格比较 系统时间和上述过期时间,或者比较age(在cache中存住的时间长度)和max-age的值。
    三、lighttpd
    lighttpd默认是没有开启expire模块的,需要我们在使用是手工开启这个模块支持。把mod_expire前面的“#”号去掉。
    # vi  /usr/local/lighttpd/etc/lighttpd.conf
    “mod_expire”,
    设定过期时间
        * 设定指定url的过期时间:
    expire.url = (
    “/images/” => “access 3 hours”,
    “/admin/” => “access 3 hours”,
    “/area/” => “access 3 hours”,
    “/calendar/” => “access 3 hours”,
    “/common/” => “access 3 hours”,
    “/front/” => “access 3 hours”,
    “/inc/” => “access 3 hours”,
    “/jeditor/” => “access 3 hours”,
    “/js/” => “access 3 hours”,
    “/script/” => “access 3 hours”,
    “/theme/” => “access 3 hours”,
    “/upload/” => “access 3 hours”,
    “/view/” => “access 3 hours”,
    “/help/” => “access 3 hours”,
    “/htm/” => “access 5 minutes”
    )
    设置Etag
    在配置文件中增加,etag.use-inode=”disable”(i节点不参与etag的运算),保证多台服务器生成的Etag值一致。

    正确使用Etag和Expires标识处理,可以使得页面更加有效被Cache。

    在 客户端通过浏览器发出第一次请求某一个URL时,根据 HTTP 协议的规定,浏览器会向服务器传送报头(Http Request Header),服务器端响应同时记录相关属性标记(Http Reponse Header),服务器端的返回状态会是200,格式类似如下:

    1. HTTP/1.1 200 OK
    2. Date: Tue, 03 Mar 2009 04:58:40 GMT
    3. Content-Type: image/jpeg
    4. Content-Length: 83185
    5. Last-Modified: Tue, 24 Feb 2009 08:01:04 GMT
    6. Cache-Control: max-age=2592000
    7. Expires: Thu, 02 Apr 2009 05:14:08 GMT
    8. Etag: “5d8c72a5edda8d6a:3239″

    客户端第二次请求此URL时,根据 HTTP 协议的规定,浏览器会向服务器传送报头(Http Request Header),服务器端响应并记录相关记录属性标记文件没有发生改动,服务器端返回304,直接从缓存中读取:

    1. HTTP/1.x 304 Not Modified
    2. Date: Tue, 03 Mar 2009 05:03:56 GMT
    3. Content-Type: image/jpeg
    4. Content-Length: 83185
    5. Last-Modified: Tue, 24 Feb 2009 08:01:04 GMT
    6. Cache-Control: max-age=2592000
    7. Expires: Thu, 02 Apr 2009 05:14:08 GMT
    8. Etag: “5d8c72a5edda8d6a:3239″

    其中Last-Modified、Expires和Etag是标记页面缓存标识

    一、Last-Modified、Expires和Etag相关工作原理

    1、Last-Modified

    在浏览器第一次请求某一个URL时,服务器端的返回状态会是200,内容是你请求的资源,同时有一个Last-Modified的属性标记 (Http Reponse Header)此文件在服务期端最后被修改的时间,格式类似这样:

    Last-Modified: Tue, 24 Feb 2009 08:01:04 GMT

    客户端第二次请求此URL时,根据 HTTP 协议的规定,浏览器会向服务器传送 If-Modified-Since 报头(Http Request Header),询问该时间之后文件是否有被修改过:

    If-Modified-Since: Tue, 24 Feb 2009 08:01:04 GMT

    如 果服务器端的资源没有变化,则自动返回 HTTP 304 (NotChanged.)状态码,内容为空,这样就节省了传输数据量。当服务器端代码发生改变或者重启服务器时,则重新发出资源,返回和第一次请求时类 似。从而保证不向客户端重复发出资源,也保证当服务器有变化时,客户端能够得到最新的资源。

    注:如果If-Modified-Since的时间比服务器当前时间(当前的请求时间request_time)还晚,会认为是个非法请求

    2、Etag工作原理

    HTTP 协议规格说明定义ETag为“被请求变量的实体标记” (参见14.19)。简单点即服务器响应时给请求URL标记,并在HTTP响应头中将其传送到客户端,类似服务器端返回的格式:

    Etag: “5d8c72a5edda8d6a:3239″

    客户端的查询更新格式是这样的:

    If-None-Match: “5d8c72a5edda8d6a:3239″

    如果ETag没改变,则返回状态304。

    即:在客户端发出请求 后,Http Reponse Header中包含 Etag: “5d8c72a5edda8d6a:3239″

    标 识,等于告诉Client端,你拿到的这个的资源有表示 ID:5d8c72a5edda8d6a:3239。当下次需要发Request索要同一个 URI的时候,浏览器同时发出一个If-None-Match报头( Http RequestHeader)此时包头中信息包含上次访问得到的Etag: “5d8c72a5edda8d6a:3239″标识。

    If-None-Match: “5d8c72a5edda8d6a:3239“

    ,这样,Client端等于Cache了两份,服务器端就会比对2者的etag。如果If- None-Match为False,不返回200,返回304 (Not Modified) Response。

    3、Expires

    给出的 日期/时间后,被响应认为是过时。如Expires: Thu, 02 Apr 2009 05:14:08 GMT

    需和Last-Modified结合使用。用于控制请求文件的有效时间,当请求数据在有效期内时客 户端浏览器从缓存请求数据而不是服务器端. 当缓存中数据失效或过期,才决定从服务器更新数据。

    4、Last-Modified和Expires

    Last- Modified标识能够节省一点带宽,但是还是逃不掉发一个HTTP请求出去,而且要和Expires一起用。而Expires标识却使得浏览器干脆连 HTTP请求都不用发,比如当用户F5或者点击Refresh按钮的时候就算对于有Expires的URI,一样也会发一个HTTP请求出去,所 以,Last-Modified还是要用的,而 且要和Expires一起用。

    5、 Etag和Expires

    如 果服务器端同时设置了Etag和Expires 时,Etag原理同样,即与Last-Modified/Etag对应的HttpRequest Header:If-Modified-Since和If-None-Match。我们可以看到这两个Header的值和WebServer发出的 Last-Modified,Etag值完全一样;在完全匹配If-Modified-Since和If-None-Match即检查完修改时间和 Etag之后,服务器才能返回304.

    6、Last-Modified和Etag

    Last-Modified 和ETags请求的http报头一起使用,服务器首先产生 Last-Modified/Etag标记,服务器可在稍后使用它来判断页面是否已经被修改,来决定文件是否继续缓存

    过程如下:

    1. 客户端请求一个页面(A)。

    2. 服务器返回页面A,并在给A加上一个Last-Modified/ETag。

    3. 客户端展现该页面,并将页面连同Last-Modified/ETag一起缓存。

    4. 客户再次请求页面A,并将上次请求时服务器返回的Last-Modified/ETag一起传递给服务器。

    5. 服务器检查该Last-Modified或ETag,并判断出该页面自上次客户端请求之后还未被修改,直接返回响应304和一个空的响应体。

    注:

    1、Last- Modified和Etag头都是由Web Server发出的Http Reponse Header,Web Server应该同时支持这两种头。

    2、Web Server发送完Last-Modified/Etag头给客户端后,客户端会缓存这些头;

    3、 客户端再次发起相同页面的请求时,将分别发送与Last-Modified/Etag对 应的Http RequestHeader:If-Modified-Since和If-None-Match。我们可以看到这两个Header的值和 WebServer发出的Last-Modified,Etag值完全一样;

    4、 通过上述值到服务器端检查,判断文件是否继续缓存;

    二、Apache、 Lighttpd和Nginx中针配置Etag和Expires,有效缓存纯静态如css/js/pic/页面/流媒体等文件。

    A、Expires

    A.1、 Apache Etag

    使用Apache的mod_expires 模块来设置,这包括控制应答时的Expires头内容和Cache-Control头的max-age指令

    1. ExpiresActive On
    2. ExpiresByType image/gif “access plus 1 month”
    3. ExpiresByType image/jpg “access plus 1 month”
    4. ExpiresByType image/jpeg “access plus 1 month”
    5. ExpiresByType image/x-icon “access plus 1 month”
    6. ExpiresByType image/bmp “access plus 1 month”
    7. ExpiresByType image/png “access plus 1 month”
    8. ExpiresByType text/html “access plus 30 minutes”
    9. ExpiresByType text/css  “access plus 30 minutes”
    10. ExpiresByType text/txt  “access plus 30 minutes”
    11. ExpiresByType text/js   ”access plus 30 minutes”
    12. ExpiresByType application/x-javascript   ”access plus 30 minutes”
    13. ExpiresByType application/x-shockwave-flash     ”access plus 30 minutes”
    14. <ifmodule mod_expires.c>
    15. <filesmatch “.(jpg|gif|png|css|js)$”>
    16. ExpiresActive on
    17. ExpiresDefault “access plus 1 year”
    18. </filesmatch>
    19. </ifmodule>

    当设置了expires后,会自动输出Cache-Control 的max-age 信息

    具体关于 Expires 详细内容可以查看Apache官方文档。

    在这个时间段里,该文件的请求都将直接通过缓存服务器获取,

    当然如果需要忽略浏览器的刷新请求(F5),缓存服务器squid还需要使用 refresh_pattern 选项来忽略该请求

    1. refresh_pattern -i .gif$ 1440 100% 28800 ignore-reload
    2. refresh_pattern -i .jpg$ 1440 100% 28800 ignore-reload
    3. refresh_pattern -i .jpeg$ 1440 100% 28800 ignore-reload
    4. refresh_pattern -i .png$ 1440 100% 28800 ignore-reload
    5. refresh_pattern -i .bmp$ 1440 100% 28800 ignore-reload
    6. refresh_pattern -i .htm$ 60 100% 100 ignore-reload
    7. refresh_pattern -i .html$ 1440 50% 28800 ignore-reload
    8. refresh_pattern -i .xml$ 1440 50% 28800 ignore-reload
    9. refresh_pattern -i .txt$ 1440 50% 28800 ignore-reload
    10. refresh_pattern -i .css$ 1440 50% 28800 reload-into-ims
    11. refresh_pattern -i .js$ 60 50% 100 reload-into-ims
    12. refresh_pattern . 10 50% 60

    有关Squid中Expires的说明,请参考Squid官方中refresh_pattern介 绍。

    A.2、Lighttpd Expires

    和Apache一样Lighttpd设置expire也要先查看是否支持了mod_expire模 块,

    下面的设置是让URI中所有images目录下的文件1小时后过期;

    1. expire.url = ( “/images/” => “access 1 hours” )

    下面是让作用于images目录及其子目录的文件;

    1. $HTTP["url"] =~ “^/images/” {
    2. expire.url = ( “” => “access 1 hours” )
    3. }

    也可以指定文件的类型;

    1. $HTTP["url"] =~ “.(jpg|gif|png|css|js)$” {
    2. expire.url = ( “” => “access 1 hours” )
    3. }

    具体参考Lighttpd官方Expires解释

    A.3、Nginx中Expires

    1. location ~ .*.(gif|jpg|jpeg|png|bmp|swf)$
    2. {
    3. expires 30d;
    4. }
    5. location ~ .*.(js|css)?$
    6. {
    7. expires 1h;
    8. }

    这 类文件并不常修改,通过 expires 指令来控制其在浏览器的缓存,以减少不必要的请求。 expires 指令可以控制 HTTP 应答中的“ Expires ”和“ Cache-Control ”的头标(起到控制页面缓存的作用)。其他请参考Nginx中Expires

    B.1、Apache中Etag设置

    在Apache中设置Etag的支持比较简单,只用在含有静态文件的目录中建立一个文件.htaccess, 里面加入:

    1. FileETag MTime Size

    这样就行了,详细的可以参考Apache的FileEtag文档页

    B.2、 Lighttpd Etag

    在Lighttpd中设置Etag支持:

    etag.use-inode: 是否使用inode作为Etag

    etag.use-mtime: 是否使用文件修改时间作为Etag

    etag.use-size: 是否使用文件大小作为Etag

    static-file.etags: 是否启用Etag的功能

    第四个参数肯定是要enable的, 前面三个就看实际的需要来选吧,推荐使用修改时间

    B.3、 Nginx Etag

    Nginx中默认没有添加对Etag标识.Igor Sysoev的观点”在对静态文件处理上看不出如何Etag好于Last-Modified标识。”

    Note:

    Yes, it’s addition,and it’s easy to add, however, I do not see howETag is better than Last-Modified for static files. -Igor Sysoev

    A nice short description is here:

    http://www.mnot.net/cache_docs/#WORK

    It looks to me that it makes some caches out there to cache theresponse from the origin server more reliable as in rfc2616(ftp://ftp.rfc-editor.org/in-notes/rfc2616.txt) is written.

    3.11 Entity Tags 13.3.2 Entity Tag Cache Validators 14.19 ETag

    当然也有第三方nginx- static-etags 模块了,请参考

    http://mikewest.org/2008/11/generating-etags-for-static-content-using-nginx

    三、对于非实时交互动态页面中Expires和Etag处理

    对 数据更新并不频繁、如tag分类归档等等,可以考虑对其cache。简单点就是在非实时交 互的动 态程序中输出expires和etag标识,让其缓存。但需要注意关闭session,防止http response时http header包含session id标识;

    3.1、Expires

    如expires.php

    1. <?php
    2. header(’Cache-Control: max-age=86400,must-revalidate’);
    3. header(’Last-Modified: ‘ .gmdate(’D, d M Y H:i:s’) . ‘ GMT’ );
    4. header(”Expires: ” .gmdate (’D, d M Y H:i:s’, time() + ‘86400′ ). ‘ GMT’);
    5. ?>

    以上信息表示该文件自请求后24小时后过期。

    其他需要处理的动态页面直接调用即可。

    3.2、Etag

    根据Http返回状态来处理。当返回304直接从缓 存中读取

    如etag.php

    1. <?php
    2. cache();
    3. echo date(”Y-m-d H:i:s”);
    4. function cache()
    5. {
    6. $etag = “http://longrujun.name”;
    7. if ($_SERVER[‘HTTP_IF_NONE_MATCH’] == $etag)
    8. {
    9. header(’Etag:’.$etag,true,304);
    10. exit;
    11. }
    12. else header(’Etag:’.$etag);
    13. }
    14. ?>

    HTTP请求中浏览器的缓存机制

    流程

    当资源第一次被访问的时候,HTTP头部如下

    (Request-Line)  GET /a.html HTTP/1.1
    Host    127.0.0.1
    User-Agent  Mozilla/5.0 (X11; U; Linux i686; zh-CN; rv:1.9.0.15) Gecko/2009102815 Ubuntu/9.04 (jaunty) Firefox/3.0.15
    Accept              text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
    Accept-Language     zh-cn,zh;q=0.5
    Accept-Encoding     gzip,deflate
    Accept-Charset      gb2312,utf-8;q=0.7,;q=0.7
    Keep-Alive          300
    Connection          keep-alive
    

    HTTP返回头部如下

    (Status-Line)       HTTP/1.1 200 OK
    Date                Thu, 26 Nov 2009 13:50:54 GMT
    Server              Apache/2.2.11 (Unix) PHP/5.2.9
    Last-Modified       Thu, 26 Nov 2009 13:50:19 GMT
    Etag                "8fb8b-14-4794674acdcc0"
    Accept-Ranges       bytes
    Content-Length      20
    Keep-Alive          timeout=5, max=100
    Connection          Keep-Alive
    Content-Type        text/html
    

    当资源第一次被访问的时候,http返回200的状态码,并在头部携带上当前资源的一些描述信息,如

    Last-Modified      // 指示最后修改的时间
    Etag                // 指示资源的状态唯一标识
    Expires             // 指示资源在浏览器缓存中的过期时间
    

    接着浏览器会将文件缓存到Cache目录下,并同时保存文件的上述信息

    当第二次请求该文件时,浏览器会先检查Cache目录下是否含有该文件,如果有,并且还没到Expires设置的时间,即文件还没有过期,那么此时浏览器将直接从Cache目录中读取文件,而不再发送请求

    如果文件此时已经过期,则浏览器会发送一次HTTP请求到WebServer,并在头部携带上当前文件的如下信息

    If-Modified-Since   Thu, 26 Nov 2009 13:50:19 GMT
    If-None-Match       "8fb8b-14-4794674acdcc0"
    

    即把上一次修改的时间,以及上一次请求返回的Etag值一起发送给服务器。服务器在接收到这个请求的时候,先解析Header里头的信息,然后校验该头部信息。

    如果该文件从上次时间到现在都没有过修改或者Etag信息没有变化,则服务端将直接返回一个304的状态,而不再返回文件资源,状态头部如下

    (Status-Line)       HTTP/1.1 304 Not Modified
    Date                Thu, 26 Nov 2009 14:09:07 GMT
    Server              Apache/2.2.11 (Unix) PHP/5.2.9
    Connection          Keep-Alive
    Keep-Alive          timeout=5, max=100
    Etag                "8fb8b-14-4794674acdcc0"
    

    这样,就能够很大程度上减少网络带宽以及提升用户的浏览器体验。

    当然,如果服务器经过匹配发现文件修改过了,就会将文件资源返回,并带上新文件状态信息。

    基本字段

    Pragma

    Pragma头域用来包含实现特定的指令,最常用的是Pragma:no-cache。在HTTP/1.1协议中,它的含义和Cache- Control:no-cache相同。

    Expires

    文件在本地缓存的过期时间,如果浏览器发现缓存中的文件没有过期,则不发送请求(有例外,后面介绍)

    Cache-Control

    Cache -Control指定请求和响应遵循的缓存机制。

    在请求消息或响应消息中设置 Cache-Control并不会修改另一个消息处理过程中的缓存处理过程。 请求时的缓存指令包括

    no-cache、no-store、max-age、 max-stale、min-fresh、only-if-cached
    

    响应消息中的指令包括

    public、private、no-cache、no- store、no-transform、must-revalidate、proxy-revalidate、max-age
    

    各个消息中的指令含义如 下:

    1. Public指示响应可被任何缓存区缓存。
    2. Private指示对于单个用户的整个或部分响应消息,不能被共享缓存处理。这允许服务器仅仅描述当用户的部分响应消息,此响应消息对于其他用户的请求无效。
    3. no-cache指示请求或响应消息不能缓存
    4. no-store用于防止重要的信息被无意的发布。在请求消息中发送将使得请求和响应消息都不使用缓存。
    5. max-age指示客户机可以接收生存期不大于指定时间(以秒为单位)的响应。
    6. min-fresh指示客户机可以接收响应时间小于当前时间加上指定时间的响应。
    7. max-stale指示客户机可以接收超出超时期间的响应消息。如果指定max-stale消息的值,那么客户机可以接收超出超时期指定值之内的响应消息。

    Etag/If-None-Match

    一对验证文件实体的标记 “Entity Tag”的响应/请求头 Apache中,ETag的值,默认是对文件的索引节(INode),大小(Size)和最后修改时间(MTime)进行Hash后得到的

    Last-Modified/If-Modified-Since

    一对验证文件的修改时间的响应/请求头

    Expires、Cache-Control、Last-Modified、ETag是RFC 2616(HTTP/1.1)协议中和网页缓存相关的几个字段。

    前两个用来控制缓存的失效日期,浏览器可通过它来判定,需不需要发出HTTP请求;

    后两个用来验证网页的有效性,服务器端利用它来验证这个文件是否需要重新返回

    Last-Modified VS Etag

    既然有了Last-Modified,为什么还要用ETag字段呢?因为如果在一秒钟之内对一个文件进行两次更改,Last-Modified就会不正确。因此,HTTP/1.1利用Entity Tag头提供了更加严格的验证。

    不同的情况

    上面描述的是一个普通的浏览器缓存状态,在实际应用中,如页面跳转(点击页面链接跳转,window.open,在地址栏敲回车,刷新页面)等操作,会有一些区别

    普通页面跳转

    普通页面跳转包括链接点击跳转,用js脚本打开新页面(window.open)

    无缓存情况下,请求会返回所有资源结果

    设置Expires并且未过期时,浏览器将不会发出http请求

    如果Expires过期,则会发送相应请求,并附带上Last-Modifed等信息,供服务器校验

    页面刷新(F5)

    这种情况一下,一般会看到很多304的请求,就是说即便资源设置了Expires且未过期,浏览器也会发送相应请求

    IE和FF稍有区别

    IE:

    If-Modified-Since   Wed, 18 Nov 2009 15:54:52 GMT
    If-None-Match   "2360492659"
    Pragma: no-cache    // 禁止缓存
    

    FF:

    If-Modified-Since   Wed, 18 Nov 2009 15:54:52 GMT
    If-None-Match   "2360492659"
    Cache-Control   max-age=0   // 文件立即过期
    

    强制刷新(Ctrl+F5)

    效果和无缓存时候一致,返回200的结果

    一些特殊的资源

    IFRAME

    FLASH

    异步获取的数据

    待研究……

    Etag 在HTTP1.1中有介绍,主要的作用就是在(css file, image, javascript file)文件后面添加一个唯一的参数(相当于查询参数字符串),Etag有服务器端生成,并且随着文件的改变而改变,这样浏览器端就会只重新请求获取 Etag发生变化的文件,减少浏览器端数据的流量,加快浏览器的反应速度,重要的是减轻服务器端的压力,所以服务器端Etag的实现就比较重要了。

    现在我们有个问题为什么要使用Etag呢?

    Etag 主要为了解决Last-Modified无法解决的一些问题.他能比Last_Modified更加精确的知道文件是否被修改过.如果有个 文件修改非常频繁,比如在秒以下的时间内进行修改,比如1秒内修改了10次,If-Modified-Since能检查只能秒级的修改,所以这种修改无法 判断.原因是UNIX记录MTIME只能精确到秒.所以我们选择生成Etag,因为Etag可以综合Inode,MTime和Size,可以避免这个问 题.

    Etag的工作原理
    Etag在服务器上生成后,客户端通过If-Match或者说If-None-Match这个条件判断请求来验证资源是否修改。我们常见的是使用If- None-Match.请求一个文件的流程可能如下:
    新的请求
    客户端发起HTTP GET请求一个文件(css ,image,js);服务器处理请求,返回文件内容和一堆Header(包括Etag,例如”2e681a-6-5d044840″),http头状态 码为为200.

    同一个用户第二次这个文件的请求
    客 户端在一次发起HTTP GET请求一个文件,注意这个时候客户端同时发送一个If-None-Match头,这个头中会包括上次这个文件的Etag(例如”2e681a- 6-5d044840″),这时服务器判断发送过来的Etag和自己计算出来的Etag,因此If-None-Match为False,不返回200,返 回304,客户端继续使用本地缓存;

    注意.服务器又设置了Cache-Control:max-age和Expires时,会同时使用,也就是说在完全匹配If-Modified- Since和If-None-Match即检查完修改时间和Etag之后,服务器才能返回304.

    下面是在Apache中的Etag的配置

    在Apache中设置Etag的支持比较简单,只需要在apache的配置中加入下面的内容就可以了:

    FileETag MTime Size

    注 解:FileETag指令配置了当文档是基于一个文件时用以创建ETag(实体标签)应答头的文件的属性(ETag的值用于进行缓冲管理以节约网 络带宽)。ETag的值由文件的inode(索引节点)、大小、最后修改时间决定。FileETag指令可以让您选择(如果您想进行选择)这其中哪些要素 将被使用。主要关键字如下:

    INode
    文件的索引节点(inode)数
    MTime
    文件的最后修改日期及时间
    Size
    文件的字节数
    All
    所有存在的域,等价于:FileETag INode MTime Size
    None
    如果一个文档是基于文件的,则不在应答中包含任何ETag头

    在 大型多WEB集群时,使用ETag时有问题,所以有人建议使用WEB集群时不要使用ETag,其实很好解决,因为多服务器时,INode不一样, 所以不同的服务器生成的ETag不一样,所以用户有可能重复下载(这时ETag就会不准),明白了上面的原理和设置后,解决方法也很容易,让ETag后面 二个参数,MTime和Size就好了.只要ETag的计算没有INode参于计算,就会很准了.

    转载自    http://hi.baidu.com/xiaolei1982/blog/item/add23ef4fbb7fd62dcc4745c.html

    HTTP性能总览

    毫无疑问用户都喜欢访问速度快的网站。用户是非常的不耐烦,除非你的网站是没有竞争对手,换句 话就是处于垄断地位的。如果你的访问者来自世界各地,那你就必须要保证你的网站在执行效率方面要非常好,甚至要更加标准。作为一个国际化的网络连接点,通 常要受到来自两个方面的压力:高访问量以及低带宽。
    在第一次至关重要的访问中,用户必须要下载每一个内容片断,来生成页面,包括JS,CSS,Images,HTML,如果你的页面太难加载(包括IIS接到请求执行并返回给客户端HTML),访问者也许就会离开你的页面!
    通过暴露所有的HTTP通讯,Fiddler很容易得向你展示哪些文件经常被用于生成一个页面,
    Shift+click 可以在Fiddler左边框的会话列表中多选会话,来计算那些被选会话的“页面总重量”。那些被转换成字节的数量。
    如果你想让你的客户在第一次访问的时候就留下深刻的印象 ,那么最好的,也是唯一的途径就是返回给客户更少的文件。
    1 使用更少的图画
    2 将所有的CSS浓缩到一个CSS文件中
    3 将所有的脚本浓缩到一个JS文件中
    4 简化你的页面时间
    5 使用HTTP压缩
    如果要是你已经对用户的第一次来访的性能进行了优化,那么你可以通过Http 缓存的优势来使得你的网站访问速度更快!

    HTTP 缓存介绍

    2种方式来提升你的web 应用程序的速度:
    减少请求和响应的往返次数
    减少请求和响应的往返字节大小。
    HTTP缓存是最好的减少客户端服务器端往返次数的办法。缓存提供了提供一种机制来保证客户端 或者代理能够存储一些东西,而这些东西将会在稍后的HTTP 响应中用到的。(即第一次请求了,到了客户端,缓存起来,下次如果页面还要这个JS文件或者CSS文件啥的,就不要到服务器端去取下来了,但是还是要去服 务器上去访问一次,因为请求要对比ETAG值,关于这个值,我将会在下次翻译中介绍其作用)这样,就不用让文件再次跨越整个网络了。

    缓存相关的请求头

    为了提高性能,微软的IE和其他的web客户端总是想尽办法来维持从远程服务器上下载下来的本地的缓存。
    当客户端需要一个资源(html,css.js…),他们有3种可能的动作:
    1 发送一个一般的HTTP请求到远程服务器端,请求这个资源。
    2 发送一个有条件的HTTP请求到服务器,条件就是如果它不同于本地的缓存版本。
    3 如果缓存的拷贝可用,就使用本地的缓存资源。
    当发送一个请求,客户也许会使用如下的几个HEADER
    Table 1. Client Cache Headers
    Pragma: no-cache
    The client is unwilling to accept any cached responses from caches along the route and the origin server must be contacted for a fresh copy of the resource.
    If-Modified-Since: datetime
    The server should return the requested resource only if the resource has been modified since the date-time provided by the client.
    If-None-Match: etagvalue
    The server should return the requested resource if the ETAG of the resource is different than the value provided by the client. An ETAG is a unique identifier representing a particular version of a file.
    1 Pragma:no-cache   表明客户端不愿意接受缓存请求,它需要的是最即时的资源。
    2 If-Modified-Since: datetime 表明如果这个资源自从上次被客户端请求,就已经修改了,那么服务器就会返回给客户端最新的。
    3 If-None-Match: etagvalue 如果客户端资源的ETAG值跟服务器端不一致了,那么服务器端返回最新的资源。ETAG就是一个唯一的ID,用来表示一个文件的一个特定的版本。
    如果要是这些有条件的请求,也就是含有If-Modified-Since 或者 If-None-MatchHeader头的请求,服务器将会以HTTP/304 Not Modified 来作为响应,那么客户端就知道可以使用客户端的缓存了。否则,服务器将会返回一个新的响应并且客户端就会抛弃过期的缓存资源。
    你可以观察2个连贯的请求,来请求同一个图片,你会在Fiddler中发现:在第一个本地缓存 版本中,服务器返回一个含有ETAG的文件,和一个含有最后修改日期的文件,在这个第一次的请求会话中,一个本地的缓存版本已经可以使用了。这样一来,一 个有条件的请求就被创建出来。然后你再次请求这个图片的时候,他就就会响应一个本地缓存的文件,当然前提是第一次缓存的图片的ETAG值或者If- Modified-Since 值跟服务器上匹配的话,服务器就响应一个304给客户端。
    Session #1
    GET /images/banner.jpg HTTP/1.1
    Host: www.bayden.com
    HTTP/1.1 200 OK
    Date: Tue, 08 Mar 2006 00:32:46 GMT
    Content-Length: 6171
    Content-Type: image/jpeg
    ETag: “40c7f76e8d30c31:2fe20″
    Last-Modified: Thu, 12 Jun 2003 02:50:50 GMT
    Session #2
    GET /images/banner.jpg HTTP/1.1
    If-Modified-Since: Thu, 12 Jun 2003 02:50:50 GMT
    If-None-Match: “40c7f76e8d30c31:2fe20″
    Host: www.bayden.com
    HTTP/1.1 304 Not Modified
    因为一个HTTP304响应仅仅包含头,没有body,所有它在穿越互联网的时候要比携带了资源的快很多,尽管如此,HTTP/304响应需要一个服务器的往返,但是通过细心的设置响应头,web程序员可以消除这种因素,甚至是有条件的请求。

    缓存相关响应头

    通常缓存机制是由响应头来控制的。HTTP规范描述了Header控制缓存,The optional Cache-Control,Expires(过期)。
    Expires头包含一个绝对的日期,当超过此日期,它将不会被考虑更新了。
    Table 2. Common Cache-Control Headers
    Value
    Meaning
    public
    The response may be stored in any cache, including caches shared among many users.
    private
    The response may only be stored in a private cache used by a single user.
    no-cache
    The response should not be reused to satisfy future requests.
    no-store
    The response should not be reused to satisfy future requests, and should not be written to disk. This is primarily used as a security measure for sensitive responses.
    max-age=#seconds
    The response may be reused to satisfy future requests within a certain number of seconds.
    must-revalidate
    The response may be reused to satisfy future requests, but the origin server should first be contacted to verify that the response is still fresh.
    Cache-Control头的参数设置:
    Public 响应会被缓存,并且在多用户间共享。
    Private 响应只能够作为私有的缓存,不能再用户间共享。
    No-cache 响应不会被缓存
    No-store 响应不会被缓存,并且不会被写入到客户端的磁盘里,这也是基于安全考虑的某些敏感的响应才会使用这个。
    Max-age=#seconds 响应将会某个指定的秒数内缓存,一旦时间过了,就不会被缓存。
    Must-revalidate 响应会被重用来满足接下来的请求,但是它必须到服务器端去验证它是不是仍然是最新的。
    注意:
    如果你要想在iis中配置缓存,请参阅温软的知识技术文章:
    你可以学习更多关于在asp.net中使用缓存的知识文章:
    ·                  How To Cache in ASP.NET by Using Visual C# .NET.
    如果你发现你经常在你的网站上更新文件,但是并没有更改文件名字,那你就必须要非常小心地设置 你的缓存生存时间。例如:如果你要一个thisyear.gif图片文件显示当前的年份在网站上,你需要保证这个缓存过期时间不能超过一天,否则一个用户 在12月31号访问你的网站的时候,在1月1号就不能显示正确的日期。
    由于某些原因,服务器可能会设置:Progma:no-cache 头,Cache-control:no-cache
    Header中的参数:Vary 是一个缓存信号,Vary:User-Agent表示缓存当前的响应,但是仅限于当发送同样的User-Agent 头的时候。指令 Vary:* 就相当于Cache-Control:no-Cache。
    Vary就相当于asp.net中的缓存的参数一样,意思是根据什么来缓存,如果要是知道asp.net的缓存的使用方法,就很容易明白这个参数的意思。
    使用HTTP会话列表,Fiddler用户可以看到在页面里包含的HTTP缓存头。

    Fiddler 会话列表

    如果响应不包含Expires或者Cache-Control,那么客户端就会被迫作为一个有条件的请求,来保证所有的资源都是最新的。
    有条件的请求和WinInetCache
    IE通过Microsoft windows Internet Services来最大程度的利用缓存服务。WinInet允许用户配置缓存的大小和行为,设置缓存进行如下操作:
    1 打开IE,
    2 工具选项,选择Inrernet选项,在一般子选项中,临时文件夹内,点击设置
    下图就是选村的四种设置:
    标记性能问题:
    你可以使用Fiddler的自定义规则来标记某些你需要的,比如如果某个响应大于25KB,你可以把当前的Session标记为红色,更加醒目。以下代码都是在OnBeforeResponse事件中:
    // Flag files over 25KB
       if (oSession.responseBodyBytes.length > 25000){
          oSession["ui-color"] = "red";
          oSession["ui-bold"] = "true";
          oSession["ui-customcolumn"] = "Large file";
       }
    同样,你也可以标记响应并不指示缓存信息。
       // Mark files which do not have caching information
    if (!oSession.oResponse.headers.Exists("Expires") &&
    !oSession.oResponse.headers.Exists("Cache-Control")){
    oSession["ui-color"] = "purple";
          oSession["ui-bold"] = "true";
       }

    介绍HTTP压缩

    所有的目前流行的WEB服务器和浏览器都提供HTTP压缩支持。HTTP压缩可以非常显著地降 低客户端和服务器端的通讯量。节省超过50%的HTML,XML,CSS,JS等文件。一个浏览器发送一个信号给服务器,他可以介绍HTTP压缩过的内 容,并且会把客户端所支持的压缩类型放在请求的Header中,例如:考虑如下的请求:
    GET / HTTP/1.1
    Accept: */*
    Accept-Language: en-us
    Accept-Encoding: gzip, deflate
    User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)
    Host: search.msn.com
    这个 Accept-Encoding 头表明IE将愿意接受GZIP格式的和DEFLATE格式的压缩响应。
    相应的响应如下:
    HTTP/1.1 200 OK
    Content-Type: text/html; charset=utf-8
    Server: Microsoft-IIS/6.0 --Microsoft-HTTPAPI/1.0
    X-Powered-By: ASP.NET
    Vary: Accept-Encoding
    Content-Encoding: gzip
    Date: Tue, 15 Feb 2006 09:14:36 GMT
    Content-Length: 1277
    Connection: close
    Cache-Control: private, max-age=3600
    你可以使用Fiddler来解压缩这些数据。实验表明,使用HTTP压缩能大量减少数据往返, 一个普通的CSS文件甚至能减少80%!当然压缩是以牺牲CPU性能为代价的。特别是压缩动态文件,但是一般的权宜之策是压缩例如JS,CSS等静态文 件,因为他们在第一次压缩后,就会被存储在服务器上,如果要压缩asp.net动态文件,一定要有个权衡才行。
  • 相关阅读:
    ThreeJS中的点击与交互——Raycaster的用法
    threejs地球之后:动画的控制
    threejs创建地球
    3d模型一般怎么导入到到Threejs中使用
    用three.js开发三维地图实例
    threejs使用各种坑实验过程
    用threejs实现三维全景图
    用threejs 实现3D物体在浏览器展示
    小议线程之单线程、多线程、线程池
    小谈MVC 模式
  • 原文地址:https://www.cnblogs.com/JohnABC/p/4460626.html
Copyright © 2011-2022 走看看