zoukankan      html  css  js  c++  java
  • WEB缓存系统之varnish缓存项修剪

      前文我们聊了下varnish的状态引擎和不同类型的变量对应该使用在那个状态引擎中,以及每个状态引擎的对应处理事务;回顾请参考https://www.cnblogs.com/qiuhom-1874/p/12643549.html;今天我们来聊一聊varnish的缓存项修剪;

      什么是缓存项修剪?所谓修剪我个人的理解是把多余的部分或者不需要的部分删除掉;对于varninsh来讲,缓存项修剪也叫缓存项删除;我们在varnish服务器上可以通过vcl语言来编写缓存策略,对于某些缓存该如何缓存,缓存多久等等;假如我们在定义好缓存策略后,在定义缓存过期时间内,后端服务器内容发生了变化,或者后端服务器发生了内容更新,我们如果不把varnish上的缓存修剪掉,对于用户来讲,用户的访问就不是最新的数据;为了解决这样的问题,我们需要人工手动的去修剪缓存项;而修剪缓存项一般都是针对某一类资源或特定资源来做修剪(通过用户指定或正在匹配),一般不会也不应该是全部;在varnish中,修剪缓存的方式有两种,一种是vcl_purge状态引擎修剪(通过判断用户的某些请求首部特征,来对用户指定的资源进行修剪),一种是内部函数ban()来修剪缓存(通常在命令行执行ban命令修剪缓存);

      首先我们来看看varnish的默认配置中如何定义vcl_purge这个状态引擎的;

    [root@test_node1-centos7 ~]# varnishadm -S /etc/varnish/secret -T 127.0.0.1:6082 "vcl.show -v boot"|grep -A3 purge
    sub vcl_purge {
        return (synth(200, "Purged"));
    }
    
    [root@test_node1-centos7 ~]# 
    

      提示:从上面默认配置中可以看到对于vcl_purge的配置很简单;以上配置表示如果上一个状态引擎把报文送给purge这个状态引擎后,purge状态引擎的操作就是把对应报文送给synth(),并合成一个200的响应码,消息状态是purged的合成页面响应给客户端;以上就是告诉客户端缓存项修剪成功;

      了解了purge的处理机制后,我们在来看看缓存项的修剪应该在那个状态引擎中定义;通常在接收到用户请求后,就需要修剪缓存;这样用户才可以拿到最新页面;所以我们在定义缓存的修剪操作应该在vcl_recv中定义;比如判断用户的请求方法,如果用户请求的方法是我们自定义的请求方法,我们就把这类请求直接交给purge处理;

       提示:红框中的内容就是来判断用户的请求方法,如果请求方法是“PURGE” 那么就把对应的请求交给purge去处理;

      测试:用curl命令指定特定的请求方法去访问varnish对外提供的页面;通过判断响应报文中,之前我们定义的X-Cache首部的值来判断是否命中缓存;如果我们使用了purge方法后,第二次正常方式访问应该是miss的,第三次访问时hit就表示修剪缓存项成功;

    [root@test_node1-centos7 ~]# varnishadm -S /etc/varnish/secret -T 127.0.0.1:6082
    200        
    -----------------------------
    Varnish Cache CLI 1.0
    -----------------------------
    Linux,3.10.0-693.el7.x86_64,x86_64,-sfile,-smalloc,-hcritbit
    varnish-4.0.5 revision 07eff4c29
    
    Type 'help' for command list.
    Type 'quit' to close CLI session.
    
    
    varnish> vcl.load test default.vcl
    200        
    VCL compiled.
    
    varnish> vcl.use test
    200        
    VCL 'test' now active
    
    varnish> quit
    500        
    Closing CLI connection
    [root@test_node1-centos7 ~]# curl  -I http://192.168.0.99:8000
    HTTP/1.1 200 OK
    Date: Thu, 09 Apr 2020 04:57:49 GMT
    Server: Apache/2.4.6 (CentOS) OpenSSL/1.0.2k-fips
    Strict-Transport-Security: max-age=31536000
    Last-Modified: Tue, 31 Mar 2020 14:56:54 GMT
    ETag: "2f-5a227c743121d"
    Content-Length: 47
    Content-Type: text/html; charset=UTF-8
    X-Varnish: 65541
    Age: 0
    Via: 1.1 varnish-v4
    X-Cache: miss via 192.168.0.99
    Connection: keep-alive
    
    [root@test_node1-centos7 ~]# curl  -I http://192.168.0.99:8000
    HTTP/1.1 200 OK
    Date: Thu, 09 Apr 2020 04:57:49 GMT
    Server: Apache/2.4.6 (CentOS) OpenSSL/1.0.2k-fips
    Strict-Transport-Security: max-age=31536000
    Last-Modified: Tue, 31 Mar 2020 14:56:54 GMT
    ETag: "2f-5a227c743121d"
    Content-Length: 47
    Content-Type: text/html; charset=UTF-8
    X-Varnish: 32772 65542
    Age: 3
    Via: 1.1 varnish-v4
    X-Cache: hit via 192.168.0.99
    Connection: keep-alive
    
    [root@test_node1-centos7 ~]# curl -X "PURGE" http://192.168.0.99:8000
    <!DOCTYPE html>
    <html>
      <head>
        <title>200 Purged</title>
      </head>
      <body>
        <h1>Error 200 Purged</h1>
        <p>Purged</p>
        <h3>Guru Meditation:</h3>
        <p>XID: 65544</p>
        <hr>
        <p>Varnish cache server</p>
      </body>
    </html>
    [root@test_node1-centos7 ~]# curl  -I http://192.168.0.99:8000       
    HTTP/1.1 200 OK
    Date: Thu, 09 Apr 2020 04:58:11 GMT
    Server: Apache/2.4.6 (CentOS) OpenSSL/1.0.2k-fips
    Strict-Transport-Security: max-age=31536000
    Last-Modified: Tue, 31 Mar 2020 14:56:54 GMT
    ETag: "2f-5a227c743121d"
    Content-Length: 47
    Content-Type: text/html; charset=UTF-8
    X-Varnish: 32774
    Age: 0
    Via: 1.1 varnish-v4
    X-Cache: miss via 192.168.0.99
    Connection: keep-alive
    
    [root@test_node1-centos7 ~]# curl  -I http://192.168.0.99:8000
    HTTP/1.1 200 OK
    Date: Thu, 09 Apr 2020 04:58:11 GMT
    Server: Apache/2.4.6 (CentOS) OpenSSL/1.0.2k-fips
    Strict-Transport-Security: max-age=31536000
    Last-Modified: Tue, 31 Mar 2020 14:56:54 GMT
    ETag: "2f-5a227c743121d"
    Content-Length: 47
    Content-Type: text/html; charset=UTF-8
    X-Varnish: 32777 32775
    Age: 3
    Via: 1.1 varnish-v4
    X-Cache: hit via 192.168.0.99
    Connection: keep-alive
    
    [root@test_node1-centos7 ~]#
    

      提示:我们用purge方法去请求对应资源后,再用正常的get方法去获取资源,对应响应报文首部X-Cache的值就变成miss的,说明没用从缓存中命中;再次访问X-Cache的值变成hit,说明从缓存中命中,这是因为第一次缓存修剪后,第二次访问就把该资源缓存到varnish上,再次访问varnish就直接从缓存中给我们响应;

      其实通过请求方法来判缓存项是否该修剪,其实很危险的;就以上面的配置,任何人都可以通过purge方法去修剪缓存,这很显然是不能也不应该的;所以我们还需要限定那些用户可以执行purge方法去修剪缓存;在varnish中添加访问控制法则需要用acl关键指定,然后起一名称,把对应的ip地址或网段地址写进去;如下

       提示:以上就表示定义了一个访问控制法则,其名称叫做allow_purge_method_clients;其中这里面写ip地址需要用双引号引起来,并用分号结束;对于网段地址掩码位数需要写在双引号外;

      定义好访问控制规则后,我们在原有的判断用户请求方法中加入限定IP地址的操作;

       提示:以上红框中的内容表示如果用户请求的方法是PURGE,IP地址不匹配我们指定的ip地址法则,那么就返回合成403响应码给客户;如果匹配就执行purge操作;

      测试:用192.168.0.99这台主机用"PURGE"方法请求修剪和用192.168.0.22这台主机用"PURGE"方法修剪缓存,如果我们定义的缓存策略正确的话,第一台主机应该是可以修剪缓存的,第二台主机会提示不运行修剪缓存,响应403;

       提示:从上面的示例可以看到通过不同ip的主机对varnish发起“PURGE”方法修剪缓存,在自定义访问控制法则中存在的IP就可以通过“PURGE”方法来修剪缓存,相反不再acl控制发展中的IP地址主机,就不被允许修剪缓存;

       以上是通过编写vcl来判断用户的请求方法实现缓存修剪,除此之外varnish还支持内建命令ban来修剪缓存;接下来我们来看看用内建命名ban怎么修剪缓存;

      首先我们可以来查看下ban命令的用法;

       提示:以上就是ban命令的用法,其中field表示用户请求的某些首部,比如req.http.host、req.url等;operaror表示操作符 ,arg表示参数;

      示例:修剪用户请求资源是index.html内容

       提示:以上红框中的内容就相当于判断用户请求的url,如果匹配/index.html,就return(synth(200));意思就是说对用户请求的/index.html的缓存项进行修剪(删除);所以用户再次访问该URL就不会从缓存响应;

      测试:

      提示:把/index.html的缓存项修剪以后,用户再次访问到/index.html资源时,从响应首部就可以知道它没有被缓存命中;说明缓存项修剪时成功的;

      当然在命令行中可以直接使用ban命令修剪缓存,在配置文件中,我们也可以来使用ban函数来对缓存项进行修剪;如下

       提示:以上红框中的内容表示用户的请求方法是BAN  就执行ban("req.http.host == " + req.http.host + "&& req.url ==" + req.url),然后通过synth()合成一响应码为200的页面响应给用户;这里的ban函数参数部分就是一字符串合成;如果用户请求的host是192.168.0.99 ,url是/index.html;那么ban函数参数部分就是req.http.host == 192.168.0.99:8000 && req.url == /index.html ,就相当在命令行执行ban req.http.host == 192.168.0.99:8000 && req.url == /index.html ;这里特别提示“&&”和 “==”号两边必须要有空格,否则会把&&识别成req.http.host的值的一部分;

      测试

       提示:我们在配置文件利用判断用户请求的方法来修剪缓存项,这种方式同PURGE的方式类似,都需要用acl去控制可以执行修剪操作的客户端;通常情况下我们如果是临时修剪缓存项,用ban命令在命令行修剪,很少写在配置文件中,通过特定的请求方法去修剪特定的资源缓存;而PURGE和ban相反,PURGE常用于在配置文件中用特定的请求方法修剪指定的url资源缓存项;

  • 相关阅读:
    浅析VO、DTO、DO、PO的概念、区别和用处
    serialVersionUID的作用
    Eclipse Debug提示source not found解决方案
    eclipse的块选择模式
    Java工程Properties配置文件注释中文,会自动转换为其他编码方式问题解决 中文乱码
    spring boot1.5以上版本@ConfigurationProperties取消location注解后的替代方案 cannot resolve method location
    c++11多线程
    多媒体指令(AVX加速数组求和)
    oracle数据库occi接口写入中文乱码解决方法
    c++得到窗口句柄
  • 原文地址:https://www.cnblogs.com/qiuhom-1874/p/12666406.html
Copyright © 2011-2022 走看看