WEB缓存系统之varnish缓存项修剪

　　前文我们聊了下varnish的状态引擎和不同类型的变量对应该使用在那个状态引擎中，以及每个状态引擎的对应处理事务；回顾请参考https://www.cnblogs.com/qiuhom-1874/p/12643549.html；今天我们来聊一聊varnish的缓存项修剪；

　　什么是缓存项修剪？所谓修剪我个人的理解是把多余的部分或者不需要的部分删除掉；对于varninsh来讲，缓存项修剪也叫缓存项删除；我们在varnish服务器上可以通过vcl语言来编写缓存策略，对于某些缓存该如何缓存，缓存多久等等；假如我们在定义好缓存策略后，在定义缓存过期时间内，后端服务器内容发生了变化，或者后端服务器发生了内容更新，我们如果不把varnish上的缓存修剪掉，对于用户来讲，用户的访问就不是最新的数据；为了解决这样的问题，我们需要人工手动的去修剪缓存项；而修剪缓存项一般都是针对某一类资源或特定资源来做修剪（通过用户指定或正在匹配），一般不会也不应该是全部；在varnish中，修剪缓存的方式有两种，一种是vcl_purge状态引擎修剪（通过判断用户的某些请求首部特征，来对用户指定的资源进行修剪），一种是内部函数ban()来修剪缓存（通常在命令行执行ban命令修剪缓存）；

　　首先我们来看看varnish的默认配置中如何定义vcl_purge这个状态引擎的；

[root@test_node1-centos7 ~]# varnishadm -S /etc/varnish/secret -T 127.0.0.1:6082 "vcl.show -v boot"|grep -A3 purge
sub vcl_purge {
    return (synth(200, "Purged"));
}[root@test_node1-centos7 ~]#

　　提示：从上面默认配置中可以看到对于vcl_purge的配置很简单；以上配置表示如果上一个状态引擎把报文送给purge这个状态引擎后，purge状态引擎的操作就是把对应报文送给synth()，并合成一个200的响应码，消息状态是purged的合成页面响应给客户端；以上就是告诉客户端缓存项修剪成功；

　　了解了purge的处理机制后，我们在来看看缓存项的修剪应该在那个状态引擎中定义；通常在接收到用户请求后，就需要修剪缓存；这样用户才可以拿到最新页面；所以我们在定义缓存的修剪操作应该在vcl_recv中定义；比如判断用户的请求方法，如果用户请求的方法是我们自定义的请求方法，我们就把这类请求直接交给purge处理；

　　提示：红框中的内容就是来判断用户的请求方法，如果请求方法是“PURGE” 那么就把对应的请求交给purge去处理；

　　测试：用curl命令指定特定的请求方法去访问varnish对外提供的页面；通过判断响应报文中，之前我们定义的X-Cache首部的值来判断是否命中缓存；如果我们使用了purge方法后，第二次正常方式访问应该是miss的，第三次访问时hit就表示修剪缓存项成功；

[root@test_node1-centos7 ~]# varnishadm -S /etc/varnish/secret -T 127.0.0.1:6082
200
-----------------------------
Varnish Cache CLI 1.0
-----------------------------
Linux,3.10.0-693.el7.x86_64,x86_64,-sfile,-smalloc,-hcritbit
varnish-4.0.5 revision 07eff4c29Type 'help' for command list.
Type 'quit' to close CLI session.varnish> vcl.load test default.vcl
200
VCL compiled.varnish> vcl.use test
200
VCL 'test' now activevarnish> quit
500
Closing CLI connection
[root@test_node1-centos7 ~]# curl  -I http://192.168.0.99:8000
HTTP/1.1 200 OK
Date: Thu, 09 Apr 2020 04:57:49 GMT
Server: Apache/2.4.6 (CentOS) OpenSSL/1.0.2k-fips
Strict-Transport-Security: max-age=31536000
Last-Modified: Tue, 31 Mar 2020 14:56:54 GMT
ETag: "2f-5a227c743121d"
Content-Length: 47
Content-Type: text/html; charset=UTF-8
X-Varnish: 65541
Age: 0
Via: 1.1 varnish-v4
X-Cache: miss via 192.168.0.99
Connection: keep-alive[root@test_node1-centos7 ~]# curl  -I http://192.168.0.99:8000
HTTP/1.1 200 OK
Date: Thu, 09 Apr 2020 04:57:49 GMT
Server: Apache/2.4.6 (CentOS) OpenSSL/1.0.2k-fips
Strict-Transport-Security: max-age=31536000
Last-Modified: Tue, 31 Mar 2020 14:56:54 GMT
ETag: "2f-5a227c743121d"
Content-Length: 47
Content-Type: text/html; charset=UTF-8
X-Varnish: 32772 65542
Age: 3
Via: 1.1 varnish-v4
X-Cache: hit via 192.168.0.99
Connection: keep-alive[root@test_node1-centos7 ~]# curl -X "PURGE" http://192.168.0.99:8000
<!DOCTYPE html>
<html>
  <head>
    <title>200 Purged</title>
  </head>
  <body>
    <h1>Error 200 Purged</h1>
    <p>Purged</p>
    <h3>Guru Meditation:</h3>
    <p>XID: 65544</p>
    <hr>
    <p>Varnish cache server</p>
  </body>
</html>
[root@test_node1-centos7 ~]# curl  -I http://192.168.0.99:8000
HTTP/1.1 200 OK
Date: Thu, 09 Apr 2020 04:58:11 GMT
Server: Apache/2.4.6 (CentOS) OpenSSL/1.0.2k-fips
Strict-Transport-Security: max-age=31536000
Last-Modified: Tue, 31 Mar 2020 14:56:54 GMT
ETag: "2f-5a227c743121d"
Content-Length: 47
Content-Type: text/html; charset=UTF-8
X-Varnish: 32774
Age: 0
Via: 1.1 varnish-v4
X-Cache: miss via 192.168.0.99
Connection: keep-alive[root@test_node1-centos7 ~]# curl  -I http://192.168.0.99:8000
HTTP/1.1 200 OK
Date: Thu, 09 Apr 2020 04:58:11 GMT
Server: Apache/2.4.6 (CentOS) OpenSSL/1.0.2k-fips
Strict-Transport-Security: max-age=31536000
Last-Modified: Tue, 31 Mar 2020 14:56:54 GMT
ETag: "2f-5a227c743121d"
Content-Length: 47
Content-Type: text/html; charset=UTF-8
X-Varnish: 32777 32775
Age: 3
Via: 1.1 varnish-v4
X-Cache: hit via 192.168.0.99
Connection: keep-alive[root@test_node1-centos7 ~]#

　　提示：我们用purge方法去请求对应资源后，再用正常的get方法去获取资源，对应响应报文首部X-Cache的值就变成miss的，说明没用从缓存中命中；再次访问X-Cache的值变成hit，说明从缓存中命中，这是因为第一次缓存修剪后，第二次访问就把该资源缓存到varnish上，再次访问varnish就直接从缓存中给我们响应；

　　其实通过请求方法来判缓存项是否该修剪，其实很危险的；就以上面的配置，任何人都可以通过purge方法去修剪缓存，这很显然是不能也不应该的；所以我们还需要限定那些用户可以执行purge方法去修剪缓存；在varnish中添加访问控制法则需要用acl关键指定，然后起一名称，把对应的ip地址或网段地址写进去；如下

　　提示：以上就表示定义了一个访问控制法则，其名称叫做allow_purge_method_clients；其中这里面写ip地址需要用双引号引起来，并用分号结束；对于网段地址掩码位数需要写在双引号外；

　　定义好访问控制规则后，我们在原有的判断用户请求方法中加入限定IP地址的操作；

　　提示：以上红框中的内容表示如果用户请求的方法是PURGE，IP地址不匹配我们指定的ip地址法则，那么就返回合成403响应码给客户；如果匹配就执行purge操作；

　　测试：用192.168.0.99这台主机用”PURGE”方法请求修剪和用192.168.0.22这台主机用”PURGE”方法修剪缓存，如果我们定义的缓存策略正确的话，第一台主机应该是可以修剪缓存的，第二台主机会提示不运行修剪缓存，响应403;

　　提示：从上面的示例可以看到通过不同ip的主机对varnish发起“PURGE”方法修剪缓存，在自定义访问控制法则中存在的IP就可以通过“PURGE”方法来修剪缓存，相反不再acl控制发展中的IP地址主机，就不被允许修剪缓存；

　　以上是通过编写vcl来判断用户的请求方法实现缓存修剪，除此之外varnish还支持内建命令ban来修剪缓存;接下来我们来看看用内建命名ban怎么修剪缓存；

　　首先我们可以来查看下ban命令的用法；

　　提示：以上就是ban命令的用法，其中field表示用户请求的某些首部，比如req.http.host、req.url等；operaror表示操作符，arg表示参数；

　　示例：修剪用户请求资源是index.html内容

　　提示：以上红框中的内容就相当于判断用户请求的url，如果匹配/index.html，就return(synth(200));意思就是说对用户请求的/index.html的缓存项进行修剪（删除）；所以用户再次访问该URL就不会从缓存响应；

　　测试：

　　提示：把/index.html的缓存项修剪以后，用户再次访问到/index.html资源时，从响应首部就可以知道它没有被缓存命中；说明缓存项修剪时成功的；

　　当然在命令行中可以直接使用ban命令修剪缓存，在配置文件中，我们也可以来使用ban函数来对缓存项进行修剪；如下

　　提示：以上红框中的内容表示用户的请求方法是BAN 就执行ban(“req.http.host == ” + req.http.host + “&& req.url ==” + req.url)，然后通过synth()合成一响应码为200的页面响应给用户；这里的ban函数参数部分就是一字符串合成；如果用户请求的host是192.168.0.99 ,url是/index.html;那么ban函数参数部分就是req.http.host == 192.168.0.99:8000 && req.url == /index.html ，就相当在命令行执行ban req.http.host == 192.168.0.99:8000 && req.url == /index.html ；这里特别提示“&&”和 “==”号两边必须要有空格，否则会把&&识别成req.http.host的值的一部分；

　　测试

　　提示：我们在配置文件利用判断用户请求的方法来修剪缓存项，这种方式同PURGE的方式类似，都需要用acl去控制可以执行修剪操作的客户端；通常情况下我们如果是临时修剪缓存项，用ban命令在命令行修剪，很少写在配置文件中，通过特定的请求方法去修剪特定的资源缓存；而PURGE和ban相反，PURGE常用于在配置文件中用特定的请求方法修剪指定的url资源缓存项；

个人收藏笔记记录

开通VIP