最近在进行apache性能优化设置。在修改apache配置文件之前需要备份原有的配置文件夹conf,这是网站架设的好习惯。以下的apache配置调优均是在red had的环境下进行的。
httpd相关查看命令了解
- 查看当前安装模块mpm(多路处理器)
httpd -l
- 查看httpd进程数(即各个mpm模式下Apache能够处理的并发请求数)
ps -ef|grep httpd|wc -l
得到的结果数字就是表示可以同时并发的进程数据,一个父进程,5个子进程。apache默认是开启5个子进程
- 查看Apache的并发请求数及其TCP连接状态:
netstat -n | awk '/^tcp/ { S[$NF]} END {for(a in S) print a, S[a]}'
返回结果示例:
LAST_ACK 5 SYN_RECV 30 ESTABLISHED 1597 FIN_WAIT1 51 FIN_WAIT2 504 TIME_WAIT 1057
CLOSED:无连接是活动的或正在进行
LISTEN:服务器在等待进入呼叫
SYN_RECV:一个连接请求已经到达,等待确认
SYN_SENT:应用已经开始,打开一个连接
ESTABLISHED:正常数据传输状态
FIN_WAIT1:应用说它已经完成
FIN_WAIT2:另一边已同意释放
ITMED_WAIT:等待所有分组死掉
CLOSING:两边同时尝试关闭
TIME_WAIT:另一边已初始化一个释放
LAST_ACK:等待所有分组死掉
- 查看请求80服务的client ip按照连接数排序。
netstat -nat|grep ":80"|awk '{print $5}' |awk -F: '{print $1}' | sort| uniq -c|sort -n
- 查看apache详细链接情况
netstat -aptol
- 检测某一台服务器的端口是否开启状态
nc -v -w 10 -z 172.20.206.147 25801
- 验证apache2配置是否正确
apachectl -t
apache模块启用
- 模块介绍
Apache 各个模块功能 基本(B)模块默认包含,必须明确禁用;扩展(E)/实验(X)模块默认不包含,必须明确启用。
模块名称 状态 简要描述
mod_actions (B) 基于媒体类型或请求方法,为执行CGI脚本而提供
mod_alias (B) 提供从文件系统的不同部分到文档树的映射和URL重定向
mod_asis (B) 发送自己包含HTTP头内容的文件
mod_auth_basic (B) 使用基本认证
mod_authn_default (B) 在未正确配置认证模块的情况下简单拒绝一切认证信息
mod_authn_file (B) 使用纯文本文件为认证提供支持
mod_authz_default (B) 在未正确配置授权支持模块的情况下简单拒绝一切授权请求
mod_authz_groupfile (B) 使用纯文本文件为组提供授权支持
mod_authz_host (B) 供基于主机名、IP地址、请求特征的访问控制
mod_authz_user (B) 基于每个用户提供授权支持
mod_autoindex (B) 自动对目录中的内容生成列表,类似于"ls"或"dir"命令
mod_cgi (B) 在非线程型MPM(prefork)上提供对CGI脚本执行的支持
mod_cgid (B) 在线程型MPM(worker)上用一个外部CGI守护进程执行CGI脚本
mod_dir (B) 指定目录索引文件以及为目录提供"尾斜杠"重定向
mod_env (B) 允许Apache修改或清除传送到CGI脚本和SSI页面的环境变量
mod_filter (B) 根据上下文实际情况对输出过滤器进行动态配置
mod_imagemap (B) 处理服务器端图像映射
mod_include (B) 实现服务端包含文档(SSI)处理
mod_isapi (B) 仅限于在Windows平台上实现ISAPI扩展
mod_log_config (B) 允许记录日志和定制日志文件格式
mod_mime (B) 根据文件扩展名决定应答的行为(处理器/过滤器)和内容(MIME类型/语言/字符集/编码)
mod_negotiation (B) 提供内容协商支持
mod_nw_ssl (B) 仅限于在NetWare平台上实现SSL加密支持
mod_setenvif (B) 根据客户端请求头字段设置环境变量
mod_status (B) 生成描述服务器状态的Web页面
mod_userdir (B) 允许用户从自己的主目录中提供页面(使用"/~username")
mod_auth_digest (X) 使用MD5摘要认证(更安全,但是只有最新的浏览器才支持)
mod_authn_alias (E) 基于实际认证支持者创建扩展的认证支持者,并为它起一个别名以便于引用
mod_authn_anon (E) 提供匿名用户认证支持
mod_authn_dbd (E) 使用SQL数据库为认证提供支持
mod_authn_dbm (E) 使用DBM数据库为认证提供支持
mod_authnz_ldap (E) 允许使用一个LDAP目录存储用户名和密码数据库来执行基本认证和授权
mod_authz_dbm (E) 使用DBM数据库文件为组提供授权支持
mod_authz_owner (E) 基于文件的所有者进行授权
mod_cache (E) 基于URI键的内容动态缓冲(内存或磁盘)
mod_cern_meta (E) 允许Apache使用CERN httpd元文件,从而可以在发送文件时对头进行修改
mod_charset_lite (X) 允许对页面进行字符集转换
mod_dav (E) 允许Apache提供DAV协议支持
mod_dav_fs (E) 为mod_dav访问服务器上的文件系统提供支持
mod_dav_lock (E) 为mod_dav锁定服务器上的文件提供支持
mod_dbd (E) 管理SQL数据库连接,为需要数据库功能的模块提供支持
mod_deflate (E) 压缩发送给客户端的内容
mod_disk_cache (E) 基于磁盘的缓冲管理器
mod_dumpio (E) 将所有I/O操作转储到错误日志中
mod_echo (X) 一个很简单的协议演示模块
mod_example (X) 一个很简单的Apache模块API演示模块
mod_expires (E) 允许通过配置文件控制HTTP的"Expires:"和"Cache-Control:"头内容
mod_ext_filter (E) 使用外部程序作为过滤器
mod_file_cache (X) 提供文件描述符缓存支持,从而提高Apache性能
mod_headers (E) 允许通过配置文件控制任意的HTTP请求和应答头信息
mod_ident (E) 实现RFC1413规定的ident查找
mod_info (E) 生成Apache配置情况的Web页面
mod_ldap (E) 为其它LDAP模块提供LDAP连接池和结果缓冲服务
mod_log_forensic (E) 实现"对比日志",即在请求被处理之前和处理完成之后进行两次记录
mod_logio (E) 对每个请求的输入/输出字节数以及HTTP头进行日志记录
mod_mem_cache (E) 基于内存的缓冲管理器
mod_mime_magic (E) 通过读取部分文件内容自动猜测文件的MIME类型
mod_proxy (E) 提供HTTP/1.1的代理/网关功能支持
mod_proxy_ajp (E) mod_proxy的扩展,提供Apache JServ Protocol支持
mod_proxy_balancer (E) mod_proxy的扩展,提供负载平衡支持
mod_proxy_connect (E) mod_proxy的扩展,提供对处理HTTP CONNECT方法的支持
mod_proxy_ftp (E) mod_proxy的FTP支持模块
mod_proxy_http (E) mod_proxy的HTTP支持模块
mod_rewrite (E) 一个基于一定规则的实时重写URL请求的引擎
mod_so (E) 允许运行时加载DSO模块
mod_speling (E) 自动纠正URL中的拼写错误
mod_ssl (E) 使用安全套接字层(SSL)和传输层安全(TLS)协议实现高强度加密传输
mod_suexec (E) 使用与调用web服务器的用户不同的用户身份来运行CGI和SSI程序
mod_unique_id (E) 为每个请求生成唯一的标识以便跟踪
mod_usertrack (E) 使用Session跟踪用户(会发送很多Cookie),以记录用户的点击流
mod_version (E) 提供基于版本的配置段支持
mod_vhost_alias (E) 提供大批量虚拟主机的动态配置支持
- 性能调优,模块启用/关闭
a)启用压缩
LoadModule deflate_module modules/mod_deflate.so
b)启用重写
LoadModule rewrite_module modules/mod_rewrite.so
c)启用默认扩展,支持在这里进行修改httpd主要配置
Include conf/extra/httpd-default.conf
d)提供文件描述符缓存支持,从而提高Apache性能
LoadModule file_cache_module modules/mod_file_cache.so
e)启用基于URI键的内容动态缓冲(内存或磁盘)
LoadModule cache_module modules/mod_cache.so
f)启用基于磁盘的缓冲管理器
LoadModule cache_disk_module modules/mod_cache_disk.so
g)基于内存的缓冲管理器
LoadModule socache_memcache_module modules/mod_socache_memcache.so
h)屏蔽所有不必要的认证模块
#LoadModule authn_file_module modules/mod_authn_file.so #LoadModule authn_dbm_module modules/mod_authn_dbm.so #LoadModule authn_anon_module modules/mod_authn_anon.so #LoadModule authn_dbd_module modules/mod_authn_dbd.so #LoadModule authn_socache_module modules/mod_authn_socache.so #LoadModule authn_core_module modules/mod_authn_core.so #LoadModule authz_host_module modules/mod_authz_host.so #LoadModule authz_groupfile_module modules/mod_authz_groupfile.so #LoadModule authz_user_module modules/mod_authz_user.so #LoadModule authz_dbm_module modules/mod_authz_dbm.so #LoadModule authz_owner_module modules/mod_authz_owner.so #LoadModule authz_dbd_module modules/mod_authz_dbd.so LoadModule authz_core_module modules/mod_authz_core.so LoadModule access_compat_module modules/mod_access_compat.so #LoadModule auth_basic_module modules/mod_auth_basic.so #LoadModule auth_form_module modules/mod_auth_form.so #LoadModule auth_digest_module modules/mod_auth_digest.so
i)已经过时屏蔽
#LoadModule autoindex_module modules/mod_autoindex.so
j)用于定义缺省文档index.php、index.jsp等。
LoadModule dir_module modules/mod_dir.so
k)用于定义记录文件格式
LoadModule log_config_module modules/mod_log_config.so
l)定义文件类型的关联。
LoadModule mime_module modules/mod_mime.so
m)减少10%左右的重复请求
LoadModule expires_module modules/mod_expires.so
n)允许apache修改或清除传递到cgi或ssi页面的环境变量
LoadModule env_module modules/mod_env.so
o)根据客户端请求头字段设置环境变量,如果不需要则屏蔽掉
#LoadModule setenvif_module modules/mod_setenvif.so
p)生成描述服务器状态的页面
#LoadModule status_module modules/mod_status.so
q)别名
LoadModule alias_module modules/mod_alias.so
r)url地址重写模块
LoadModule rewrite_module modules/mod_rewrite.so
s)jk_mod 负载均衡调度模块
LoadModule jk_module modules/mod_jk.so
t)过滤模块,使用缓存必须启用过滤模块
LoadModule filter_module modules/mod_filter.so
u)关闭服务器版本信息
LoadModule version_module modules/mod_version.so
v)自动修正用户输入的url错误
LoadModule speling_module modules/mod_speling.so
apache2扩展配置文件说明
- httpd-autoindex.conf 自动索引配置
- httpd-dav.conf WebDAV配置
- httpd-default.conf Apache的默认配置
- httpd-info.conf mod_status, mod_info模块配置
- httpd-languages.conf Apache多语言配置支持
- httpd-manual.conf 在网站上提供Apache手册
- httpd-mpm.conf 多路处理模块配置文件
- httpd-multilang-errordoc.conf 实现多语言的错误信息
- httpd-ssl.conf SSL配置
- httpd-userdir.conf 配置用户目录
- httpd-vhosts.conf 虚拟主机配置
性能指标计算方法
提供下面这个公式,以供大家在平时或者日常需要进行的性能测试中作为一个参考。
- 计算平均的并发用户数:C = nL/T
C是平均的并发用户数;n是login session的数量;L是login session的平均长度;T指考察的时间段长度。
- 并发用户数峰值:C’ ≈ C+3根号C
C’指并发用户数的峰值,C就是公式(1)中得到的平均的并发用户数。该公式的得出是假设用户的loginsession产生符合泊松分布而估算得到的。
apache2自带的压力测试工具ab
- ab最常用的语法格式是这样的:
ab -n XXX -c YYY -k http://hostname.port/path/filename
-n XXX:表示最多进行XXX次测试。也就是下载filename文件XXX次。
-c YYY:客户端并发连接个数。
-k:启用HTTP KeepAlive功能。默认不启用KeepAlive功能。
- 比如我们要对http://hostname:port/file.com下载10000次进行测试,并发访问为60个,启用HTTP KeepAlive功能,则访问指令为:
ab -n 10000 -c 60 -k http://hostname:port/file.htm
- ab必须安装在客户端上,并且客户端机器配置性能要高些。
Java的压力测试工具Jmeter
Jmeter 是apache开发的基于java的压力测试工具。
apache多路处理器MPM
目前apache2.4版本已经event MPM纳入正式版,不再是实验状态。安装时,apache已经自动将event MPM一起安装进去,通过apachectl -l可以查看到event.c模块。由此可以看到,event MPM已经成为apache默认的MPM工作模式
- 启用MPM
Include conf/extra/httpd-mpm.conf
- 配置evnet MPM参数
<IfModule event.c> #default 3 ServerLimit 15 #default 256 MaxRequestWorkers (2.3版本叫MaxClients) <= ServerLimit * ThreadsPerChild MaxRequestWorkers 960 #default 3 StartServers 3 #default 64 ThreadsPerChild 64 #default 100000 ThreadLimit >= ThreadsPerChild ThreadLimit 64 #default 75 MinSpareThreads 32 #default 400 MaxSpareThreads >= (MinSpareThreads + ThreadsPerChild) MaxSpareThreads 112 #(2.3版本叫MaxRequestsPerChild)default 0, at 200 r/s, 20000 r results in a process lifetime of 2 minutes MaxConnectionsPerChild 10000 </IfModule>
1、StartServers
初始数量的服务器进程开始,默认为3个
2、MinSpareThreads
最小数量的工作线程,保存备用,默认是75个线程
3、MaxSpareThreads
最大数量的工作线程,保存备用,默认是250线程
4、ThreadsPerChild
固定数量的工作线程在每个服务器进程,默认是25个
5、MaxRequestWorkers
最大数量的工作线程,默认是400
6、MaxConnectionsPerChild
最大连接数的一个服务器进程服务,默认为0,没有上限限制,但是为了避免内存异常,影响稳定性,需要设置一个数值进行限制
在修改配置后,需要停止htppd,再启动httpd, 不能通过apacherestart生效,而是先 apache stop 然后再 apache start才可以生效。
7、ServerLimit
ServerLimit是活动子进程数量的硬限制,它必须大于或等于MaxClients除以ThreadsPerChild的值。
serverLimit最大20000,默认是16。只有在你需要将MaxClients和ThreadsPerChild设置成需要超过默认值16个子进程的时候才需要使用这个指令。
不要将该指令的值设置的比MaxClients 和ThreadsPerChild需要的子进程数量高。使用这个指令时要特别当心。
如果将ServerLimit设置成一个高出实际需要许多的值,将会有过多的共享内存被分配。
如果将ServerLimit和MaxClients设置成超过系统的处理能力,Apache可能无法启动,或者系统将变得不稳定。
RedHat Enterprise Linux AS 3.0 Update 2最大MaxClients只能设置到256。
如果你需要设置其为更高,需要在MaxClients前面添加:ServerLimit xxx其中xxx不能少于MaxClients的数值。该设置方法适用于Apache 2.0系列。
8、ThreadLimit
ThreadLimit是所有服务线程总数的硬限制,它必须大于或等于ThreadsPerChild指令。使用这个指令时要特别当心。
如果将ThreadLimit设置成一个高出ThreadsPerChild实际需要很多的值,将会有过多的共享内存被分配。
如果将ThreadLimit和ThreadsPerChild设置成超过系统的处理能力,Apache可能无法启动,或者系统将变得不稳定。
该指令的值应当和ThreadsPerChild可能达到的最大值保持一致。
- 计算event的相关参数
计算服务器进程的平均内存
ps aux | grep 'httpd' | awk '{print $6/1024 " MB";}'
计算正在通讯传输过程中的进程的平均内存,最好在一天之内不同的时间段内运行以下代码
ps aux | grep 'httpd' | awk '{print $6/1024;}' | awk '{avg += ($1 - avg) / NR;} END {print avg " MB";}'
通过上面两个指令计算出平均进程所使用的内存大小 ,再通过以下公式计算
MaxRequestWorkers(MaxClients) = (Total RAM - RAM used for Linux, MySQL, etc.) / Average httpd process size.
1、StartServers
30% of MaxRequestWorkers
2、
MinSpareThreads 5% of MaxRequestWorkers
3、
MaxSpareThreads10% of MaxRequestWorkers
4、ServerLimit
== MaxRequestWorkers
5、
MaxConnectionsPerChild 10000 (as conservative alternative to address possible problem with memory leaky apps)
- event MPM与worker MPM区别
可以支持比worker更高的并发数,主要安装在类unix/linux上的工作模式。event mpm是worker mpm的变种,但是具有比worker MPM更好的并发性能。在event mpm模式下,ssl是不被支持的,他会被切换到worker mpm下处理。event mpm在apache2.4版本时才被从实验状态转化成标准应用。
apache 缓存设置
apache涉及的缓存模块有mod_cache、mod_disk_cache、mod_file_cache、mod_mem_cache。如果要使用缓存必须启用这四个缓存模块。
同时修改缓存设置后,必须重启apache,刷新缓存,否则用户访问页面不是最新页面。
- mod_cache、mod_disk_cache、mod_mem_cache、mod_file_cache关系
apache缓存分为硬盘缓存和内存缓存
mod_disk_cache mod_mem_cache 都依赖于mod_cache
mod_file_cache是结合mod_cache使用,可以用于指定几个频繁访问,但是变化不大的文件
- 配置硬盘缓存和内存缓存的缓存配置
<IfModule mod_cache.c> CacheDefaultExpire 3600 #设置缓存过期时间,默认一小时 CacheMaxExpire 86400 #设置缓存最大失效时间,默认最大一天 CacheLastModifiedFactor 0.1 CacheIgnoreHeaders Set-Cookie CacheIgnoreCacheControl Off <IfModule mod_disk_cache.c> CacheEnable disk / #启用缓存,并设定硬盘缓存目录(url路径) CacheRoot /home/apache/cache #设定apache访问用户的缓存路径,需要进行授权配置,如linux设置为777 CacheDirLevels 5 #缓存目录深度 CacheDirLength 5 #缓存目录名称字符串长度 CacheMaxFileSize 1048576 #缓存文件最大值 CacheMinFileSize 10 #缓存文件最小值 </IfModule> <IfModule mod_mem_cache.c> CacheEnable mem / #缓存路径 MCacheMaxObjectCount 20000 #缓存对象最大个数 MCacheMaxObjectSize 1048576 #单个缓存对象最大大小 MCacheMinObjectSize 10 #单个缓存对象最小大小 MCacheMaxStreamingBuffer 65536 #在缓冲区最多能够放置多少的将要被缓存对象的尺寸 MCacheRemovalAlgorithm GDSF #清除缓存所使用的算法,默认是 GDSF,还有一个是LRU MCacheSize 131072 #缓存数据最多能使用的内存 </IfModule> </IfModule>
- 文件缓存的应用
1、缓存文件
如果你的网站有几个文件的访问非常频繁而又不经常变动,则可以在 Apache 启动的时候就把它们的内容缓存到内存中(当然要启用内存缓存系统),使用的是 mod_file_cache 模块,有多个文件可以用空格格开,具体如下:
<IfModule mod_file_cache.c> MMapFile /var/html/js/jquery.js </IfModule>
2、缓存句柄
<IfModule mod_file_cache.c> CacheFile /usr/local/apache2/htdocs/index.html </IfModule>
apache压缩配置
- apache通过mod_deflate模块实现页面压缩,要想进行页面压缩必须启用以下两个模块
LoadModule deflate_module modules/mod_deflate.so LoadModule filter_module modules/mod_filter.so
- 页面压缩模块配置
<ifmodule mod_deflate.c> #设定压缩率,压缩率1 -9, 6是建议值,不能太高,消耗过多的内存,影响服务器性能 DeflateCompressionLevel 6 AddOutputFilterByType DEFLATE text/plain AddOutputFilterByType DEFLATE text/html AddOutputFilterByType DEFLATE text/php AddOutputFilterByType DEFLATE text/xml AddOutputFilterByType DEFLATE text/css AddOutputFilterByType DEFLATE text/javascript AddOutputFilterByType DEFLATE application/xhtml+xml AddOutputFilterByType DEFLATE application/xml AddOutputFilterByType DEFLATE application/rss+xml AddOutputFilterByType DEFLATE application/atom_xml AddOutputFilterByType DEFLATE application/x-javascript AddOutputFilterByType DEFLATE application/x-httpd-php AddOutputFileByType DEFLATE application/x-httpd-fastphp AddOutputFileByType DEFLATE application/x-httpd-eruby AddOutputFilterByType DEFLATE image/svg+xml AddOutputFilterByType DEFLATE application/javascript #插入过滤器 SetOutputFilter DEFLATE #排除不需要压缩的文件 SetEnvIfNoCase Request_URI .(?:exe|t?gz|zip|bz2|sit|rar)$ no-gzip dont-vary SetEnvIfNoCase Request_URI .(?:gif|jpe?g|png)$ no-gzip don’t-vary SetEnvIfNoCase Request_URI .pdf$ no-gzip dont-vary SetEnvIfNoCase Request_URI .avi$ no-gzip dont-vary SetEnvIfNoCase Request_URI .mov$ no-gzip dont-vary SetEnvIfNoCase Request_URI .mp3$ no-gzip dont-vary SetEnvIfNoCase Request_URI .mp4$ no-gzip dont-vary SetEnvIfNoCase Request_URI .rm$ no-gzip dont-vary </ifmodule>
keepAlive
在HTTP 1.0中和Apache服务器的一次连接只能发出一次HTTP请求,而KeepAlive参数支持HTTP 1.1版本的一次连接,多次传输功能,这样就可以在一次连接中发出多个HTTP请求。从而避免对于同一个客户端需要打开不同的连接。很多请求通过同一个 TCP连接来发送,可以节约网络和系统资源。
- keepAlive启用场景
如果有较多的js,css,图片访问,则需要开启长链接
如果内存较少,大量的动态页面请求,文件访问,则关闭长链接,节省内存,提高apache访问的稳定性
如果内存充足,cpu较好,服务器性能优越,则是否开启长链接对访问性能都不会产生影响
- keepAlive配置
在Apache的配置文件httpd.conf中,设置:
1、Timeout 60 默认为60s修改为30s
2、KeepAlive on 设置为on状态
4、KeepAliveTimeout 默认为5s,如果值设置过高,由于每个进程都要保持一定时间对应该用户,而无法应付其他用户请求访问,从而导致服务器性能下降。
5、MaxKeepAliveRequests 100 如果设置为0表示无限制,建议最好设置一个值
把MaxKeepAliveRequests设置的尽量大,可以在一次连接中进行更多的HTTP请求。但在我们的测试中还发现,把 MaxKeepAliveRequests设置成1000,则评测的客户端容易出现“Send requesttimed out”的错误,所以具体数值还要根据自己的情形来设置。
问题集锦
1、加载 LoadModule authz_core_module modules/mod_authz_core.so
Invalid command 'Require', perhaps misspelled or defined by a module not included in the server configuration
2、配置信息后面不能跟随注释,注释必须另起一行
CacheDefaultExpire takes one argument, The default time in seconds to cache a document
3、关键字错误AddOutputFileByType应该是AddOutputFitlerByType
Invalid command 'AddOutputFileByType', perhaps misspelled or defined by a module not included in the server configuration
4、启用LoadModule setenvif_module modules/mod_setenvif.so
Invalid command 'SetEnvIfNoCase', perhaps misspelled or defined by a module not included in the server configuration
参考资料
- http://www.cnblogs.com/fnng/archive/2012/11/20/2779977.html
- http://blog.csdn.net/lifetragedy/article/details/7707455
- http://blog.sina.com.cn/s/blog_499be8b80101gxg2.html
- http://wenku.baidu.com/view/a9dc8c6727d3240c8447efa9.html
- http://www.cnblogs.com/zhongbin/archive/2013/06/11/3131865.html
- http://my.oschina.net/fhd/blog/344689
- http://httpd.apache.org/docs/2.4/
- http://blog.chinaunix.net/uid-7374279-id-4470247.html
- awk 命令:http://www.cnblogs.com/ggjucheng/archive/2013/01/13/2858470.html
- http://httpd.apache.org/docs/current/mod/mpm_common.html
- http://mirrorbrain.org/docs/tuning/
- https://jaswsinc.com/ubuntu-lamp-apache-mpm-event-fastcgi-php5-fpm/
- http://wiki.mikejung.biz/Apache?PageSpeed=noscript
- http://www.woktron.com/secure/knowledgebase/133/How-to-optimize-Apache-performance.html
- https://servercheck.in/blog/3-small-tweaks-make-apache-fly
- http://www.linuxidc.com/Linux/2012-07/65063.htm