squid研究记录

Squid研究记录

Squid cache（简称为Squid）是一个流行的自由软件（GNU通用公共许可证）的代理服务器和Web缓存服务器。Squid有广泛的用途，从作为网页服务器的前置cache服务器缓存相关请求来提高Web服务器的速度，到为一组人共享网络资源而缓存万维网，域名系统和其他网络搜索，到通过过滤流量帮助网络安全，到局域网通过代理上网。Squid主要设计用于在Unix一类系统运行。

    Squid的发展历史相当悠久，功能也相当完善。除了HTTP外，对于FTP与HTTPS的支援也相当好，在3.0 测试版中也支援了IPv6。

                                                                      ----摘自“开源中国社区”

 

下面是从安装，到配置的整个过程，并对其中的一些参数进行粗浅的解释

1、下载安装

    先去http://www.squid-cache.org/去下载源代码包squid-3.1.19.tar.gz

    当前版本为squid-3.1.19

# tar xvfz squid-3.1.19.tar.gz
# cd squid-3.1.19

    在目录里执行configure操作，该操作是为了生成makefile文件的，所以有一些参数需要设置

#./configure --prefix=/usr/local/squid --enable-dlmalloc --enable-gnuregex --enable-removal-policies=heap,lru --enable-icmp --enable-delay-pools --enable-snmp --enable-arp-acl --enable-cahce-digests  --enable-storeio=aufs,ufs  --with-pthreads --enable-default-err-languages="Simplify_Chinese" --enable-epoll --enable-linux-netfilter --disable-ident-lookups --with-maxfd=65536 --enable-kill-parent-hack --enable-follow-x-forwarded-for --enable-stacktraces [--enable-ecap]
# make
# sudo make install

         安装完成后，进入/usr/local目录，更改squid目录的owner和grouper，这里可以根据自身需要进行更改，可以是新建一个用户专门用来执行squid，如：

# groupadd  -g  100  squid
# useradd   -u  100  -g  100  squid

或者直接使用目前的用户和用户组。

# sudo chown {owner}:{group} squid –R

至此，安装过程已经基本结束。

2、配置squid

#缓存机制：
quick_abort_min 0 KB
quick_abort_max 0 KB
#如果cache与缓存空间大小的比例达cache_swap_high时，开始swap操作，当比例降到cache_swap_low时，swap操作停止：
cache_swap_low 90
cache_swap_high 95
#采用的swap方式：
cache_replacement_policy heap LFUDA
#大于maximum_object_size的不进行disk存储：
maximum_object_size 4096 KB
#大于maximum_object_size的不进行memory存储：
maximum_object_size_in_memory 4096 KB
#指定内存的最大使用量（根据机器的内存和其它环境进行设定）：
cache_mem 4096 MB
#打开SMP系统间的内存共享机制（squid-3.1.19不支持）：
#memory_cache_shared on
#关闭半链接功能（有时squid会停止发送数据，但接收功能不会停止）：
half_closed_clients off
#打开内存池以供后期使用：
memory_pools on
#关闭收集client的统计信息：
client_db off
#开启log信息的缓存功能：
buffered_logs on
#DNS相关设置（前者指缓存时间上限，后期指失败DNS解析的TTL）：
positive_dns_ttl 8 hours
negative_dns_ttl 1 seconds
#IP的最大缓存数量：
ipcache_size 20480
#同cache_swap_low和cache_swap_high：
ipcache_low 90
ipcache_high 95
#FQDN的最大缓存数量：
fqdncache_size 20480
#http监听端口：
http_port 3128
#打开该选项后，用户的no-cache和reload请求将会更新cache：
reload_into_ims on
#设置一个limit，如果request的range超过这个limit，则将request进行透传（相当于not cache）：
range_offset_limit -1
#打开该选项能够忽略带有no-cache的request的超时机制：
vary_ignore_expire on

#路径设置：
#cache资源存储的路径 ufs|aufs Mbytes L1 L2（L1为在squid下有多少个目录存放资源，L2为在每个L1目录下有多少个目录存放资源）：
cache_dir aufs /usr/local/squid/var/cache/squid 8192 16 256
#coredump保存路径，否则保存在起始目录下：
coredump_dir /usr/local/squid/var/cache/squid
#access.log的存放路径（如果不存放可替换为cache_access_log none），该log包含了request的响应结果，哪些MEM_HIT，哪些MEM_MISS等：
cache_access_log /usr/local/squid/var/logs/access.log squid
# store.log的存放路径（存储缓存信息的log）:
cache_store_log /usr/local/squid/var/logs/store.log

#用户设置：
#如果以root权限启动该程序，在启动前转到设置的user和group：
cache_effective_user squid
cache_effective_group squid

#要用到的命令设置：
#squid启动过程中会调用pinger，这里要设置好路径，并打开开关：
pinger_program /usr/local/squid/libexec/pinger
pinger_enable on

#连接规则配置：
#localnet包含了一些基于IP的filter：
acl localnet src 10.0.0.0/8     # RFC1918 possible internal network
acl localnet src 172.16.0.0/12  # RFC1918 possible internal network
acl localnet src 192.168.0.0/16 # RFC1918 possible internal network
acl localnet src fc00::/7       # RFC 4193 local private network range
acl localnet src fe80::/10      # RFC 4291 link-local (directly plugged) machines
acl localnet src 118.192.34.0/24
#localnet包含了一些基于Port的filter：
acl SSL_ports port 443
acl Safe_ports port 80          # http
acl Safe_ports port 21          # ftp
acl Safe_ports port 443         # https
acl Safe_ports port 70          # gopher
acl Safe_ports port 210         # wais
acl Safe_ports port 1025-65535  # unregistered ports
acl Safe_ports port 280         # http-mgmt
acl Safe_ports port 488         # gss-http
acl Safe_ports port 591         # filemaker
acl Safe_ports port 777         # multiling http
acl CONNECT method CONNECT

#允许localnet定义的链接访问该代理：
http_access allow localnet
#禁止非Safe_ports定义的端口被访问：
http_access deny !Safe_ports
#禁止非SSL_ports定义的端口被链接：
http_access deny CONNECT !SSL_ports
#允许Purge功能：
acl localhost src 127.0.0.1/32
acl Purge method PURGE
http_access allow localhost Purge
#除上面规定的允许访问的链接，其他都不能访问该代理（一定要有这句话，而且顺序不能变）：
http_access deny all

#squid实现gzip功能配置：

ecap_enable on
ecap_service gzip_service respmod_precache 0 ecap://www.vigos.com/ecap_gzip
loadable_modules /usr/local/lib/ecap_adapter_gzip.so
acl GZIP_HTTP_STATUS http_status 200
adaptation_access gzip_service allow GZIP_HTTP_STATUS

#这些可以具体了解下acl规则。


#下面这个是以ftp开头的链接，过期时间为3168分钟：
refresh_pattern ^ftp:           1440    20%     10080
#如果想cache图片资源，cache时间为1天，则可以设置：
refresh_pattern –i .*\\.img.*:           1440    0%     2880
refresh_pattern –i .*\\.png.*:           1440    0%     2880
refresh_pattern –i .*\\.gif.*:            1440    0%     2880
#如果想cache那些第三方设置了no-cache的资源，可以增加options，如：
refresh_pattern –i .*\\.img.*:           1440    0%     2880  ignore-no-cache
refresh_pattern –i .*\\.png.*:           1440    0%     2880  ignore-no-cache
refresh_pattern –i .*\\.gif.*:            1440    0%     2880  ignore-no-cache
#除此之外还有很多其他的选项，如ignore-no-store，请参考squid.conf.document。 

#cache规则配置：

#这块是非常重要的，关系到哪些资源是需要cache，而哪些资源不能cache的。主要的命令就是refresh_pattern [-i] regexp min percent max [options]：

#先插入段讲解，关于后面那三个数（min percent max），算法如下：

 min, max的单位是分钟，percent就是百分比。

(当前时间定义为CURRENT_DATE)
1) If ((CURRENT_DATE-DATE(就是LM里定义的时间)) < min)，cache是新鲜的
2) else if ((CURRENT_DATE-DATE) < (min + (max-min)*percent)，cache是新鲜的
3) else cache是过期的
cache过期就需要从后面server取新鲜内容

3、运行squid

先建立disk缓存区：

# /usr/local/squid/sbin/squid –z

启动squid：

# /usr/local/squid/sbin/squid

查看squid是否启动：

# ps –ef | grep squid

如果没有squid进程，则可以通过查看/usr/local/squid/var/logs/cache.log来查看原因，如有pinger相关的错误，则需要更改pinger权限，且看conf文件中是否已经设置了pinger的路径：

# sudo chown root:root /usr/local/squid/libexec/pinger
# sudo chmod u+s /usr/local/squid/libexec/pinger 

4、squid其他命令

1、关闭squid

/usr/local/squid/sbin/squid –k shutdown

2、重新载入config文件

/usr/local/squid/sbin/squid –k reconfigure

可以通过/usr/local/squid/sbin/squid –k parse来检查config文件配置是否正确。

3、查看squid的运行信息

获取cpu、内存、cache比例等数据：

/usr/local/squid/bin/squidclient -p 80 mgr:info

/usr/local/squid/bin/squidclient -p 80 cache_object://localhost/info

从cache中删除某个对象

/usr/local/squid/bin/squidclient -p 80 -m PURGE http://www.linux.com.cn/

往cache中添加某个对象

/usr/local/squid/bin/squidclient -p 80 http://www.linux.com.cn/

获取内存使用的详细信息

# /usr/local/squid/bin/squidclient -p 80 mgr:mem

获取cache对象列表（慎用，可能会导致squid崩溃）

# /usr/local/squid/bin/squidclient -p 80 mgr:objects

获取磁盘使用数据

# /usr/local/squid/bin/squidclient -p 80 mgr:diskd

4、清空cache

# /usr/local/squid/sbin/squid –k shutdown
# mv  /usr/local/squid/var/cache /usr/local/squid/var/cache-old
# mkdir cache
# /usr/local/squid/sbin/squid –z
# /usr/local/squid/sbin/squid
#rm –rf /usr/local/squid/var/cache-old 

5、透明代理设置

在conf文件中将http_port的设置改为

http_port 3128 transparent

使用iptables 做nat，并将所有的80请求重定向到本机的3128 以实现透明代理[摘自其他地方]。 
vi /data/myscripts/squid.firewall
脚本如下：

#!/bin/bash
echo "1" > /proc/sys/net/ipv4/ip_forward
echo "starting iptables rules"
/sbin/iptables -t filter -F
/sbin/iptables -t filter -Z
/sbin/iptables -t filter -X
/sbin/iptables -t nat -F
/sbin/iptables -t nat -Z
/sbin/iptables -t nat -X
/sbin/modprobe ip_tables
/sbin/modprobe iptable_nat
/sbin/modprobe iptable_filter
/sbin/modprobe ip_nat_ftp
/sbin/modprobe ip_conntrack
/sbin/modprobe ip_conntrack_ftp
/sbin/iptables -t filter -P INPUT ACCEPT
/sbin/iptables -t filter -P OUTPUT ACCEPT
/sbin/iptables -t filter -P  FORWARD ACCEPT
/sbin/iptables -t nat -A  POSTROUTING -s 192.168.1.0/24 -j SNAT --to-source a.b.c.d
/sbin/iptables -t nat -A  PREROUTING  -s 192.168.1.0/24 -p tcp --dport 80 -j REDIRECT --to-ports  3128

执行脚本并将其加入到开机自启动,注意将脚本中的a.b.c.d换成自己公司的公网静态ip

# ./squid.firewall
# echo "./squid.firewall" >>/etc/rc.d/rc.local 

6、将squid添加到开机自启动

# echo "/usr/local/squid/sbin/squid -s " >>/etc/rc.d/rc.local 

7、查看端口占用情况并杀掉对应进程：

# netstat –a
# lsof –i:3128   //查看占用该端口的进程id

8、情况iptables

 iptables -t nat -F
 iptables -t nat -X
 iptables -t nat -P PREROUTING ACCEPT
 iptables -t nat -P POSTROUTING ACCEPT
 iptables -t nat -P OUTPUT ACCEPT
 iptables -t mangle -F
 iptables -t mangle -X
 iptables -t mangle -P PREROUTING ACCEPT
 iptables -t mangle -P INPUT ACCEPT
 iptables -t mangle -P FORWARD ACCEPT
 iptables -t mangle -P OUTPUT ACCEPT
 iptables -t mangle -P POSTROUTING ACCEPT
 iptables -F
 iptables -X
 iptables -P FORWARD ACCEPT
 iptables -P INPUT ACCEPT
 iptables -P OUTPUT ACCEPT
 iptables -t raw -F
 iptables -t raw -X
 iptables -t raw -P PREROUTING ACCEPT
 iptables -t raw -P OUTPUT ACCEPT

5、squid运行中的问题

1、Your cache is running out of filedescriptors

sudo -s

ulimit -HSn 65536

在configure时加入 --with-maxfd=65536

不知道在squid.conf加入max_filedescriptors 15000是否起作用

6、squid实现gzip压缩，先要安装下列包

1、Download and install libecap Library

 http://www.e-cap.org/Downloads

cd libecap-0.0.3/
./configure
make
make install

2、Download and install VIGOS eCAP GZIP Adapter

http://code.google.com/p/squid-ecap-gzip/downloads/list

cd squid-ecap-gzip/
./configure
make
make install