tsar介绍
本文主要介绍如何利用tsar对线上linux服务器进行诊断，及其原理。
tsar是由淘宝核心系统部门研发并开源到github上，源码路径见alibaba/tsar。
为了支持rds运维，加入一些定制的功能，由于内核组以功能不普遍适用拒绝合并到主干，拉了一个分支到内网gitlb上，源码路径见tsar for rds.并为rds编译了一个rpm：t-rds-tsar。
此外，t-rds-tsar 也修复了tsar 的一些bug。
安装原理
见Makefile
DIRS = modules src
all:
for i in $(DIRS); do make -C $$i; done
clean:
for i in $(DIRS); do cd $$i;make clean;cd ..; done
install: all
#mkdir for tsar
mkdir -p /usr/local/tsar/modules
mkdir -p /etc/tsar
mkdir -p /usr/local/man/man8/
#copy tsar shared so
cp modules/*.so /usr/local/tsar/modules
#copy bin file
cp src/tsar /usr/bin/tsar
#copy config file
cp conf/tsar.conf /etc/tsar/tsar.conf
cp conf/tsar.logrotate /etc/logrotate.d/tsar
cp conf/tsar.cron /etc/cron.d/tsar
#copy man file
cp conf/tsar.8 /usr/local/man/man8/
tsardevel:
mkdir -p /usr/local/tsar/devel
cp devel/mod_test.c /usr/local/tsar/devel/mod_test.c
cp devel/mod_test.conf /usr/local/tsar/devel/mod_test.conf
cp devel/tsar.h /usr/local/tsar/devel/tsar.h
cp devel/Makefile.test /usr/local/tsar/devel/Makefile.test
cp devel/tsardevel /usr/bin/tsardevel
uninstall:
#rm tsar
rm -rf /usr/local/tsar
rm -f /etc/logrotate.d/tsar
rm -f /etc/cron.d/tsar
rm -f /usr/local/man/man8/tsar.8
#rm tsar
rm -f /usr/bin/tsar
#rm tsardevel
rm -f /usr/bin/tsardevel
#backup configure file
if [ -f /etc/tsar/tsar.conf ]; then mv /etc/tsar/tsar.conf /etc/tsar/tsar.conf.rpmsave; fi
#backup the log data file
if [ -f /var/log/tsar.data ]; then mv /var/log/tsar.data /var/log/tsar.data.bak; fi
tags:
ctags -R
cscope -Rbq
Copy
备注： 安装时会生成一个/etc/cron.d/tsar 文件，借助crond服务，每分钟执行一次
[mq@mqdba tsar]$ cat /etc/cron.d/tsar
# cron tsar collect once per minute
MAILTO=""
* * * * * root /usr/bin/tsar --cron >> /tmp/tsar.log 2>&1
Copy
HELP
总体来说tsar的使用方法没有变化，详情参见README
$tsar --help
Usage: tsar [options]
Options:
-check display last record for alert
--check/-C display last record for alert.example:tsar --check / tsar --check --cpu --io
--cron/-c run in cron mode, output data to file
--interval/-i specify intervals numbers, in minutes if with --live, it is in seconds
--list/-L list enabled modules
--live/-l running print live mode, which module will print
--file/-f specify a filepath as input
--ndays/-n show the value for the past days (default: 1)
--date/-d show the value for the specify day(n or YYYYMMDD)
--merge/-m merge multiply item to one
--detail/-D do not conver data to K/M/G
--spec/-s show spec field data, tsar --cpu -s sys,util
--item/-I show spec item data, tsar --io -I sda
--help/-h help
Modules Enabled:
--cpu CPU share (user, system, interrupt, nice, & idle)
--mem Physical memory share (active, inactive, cached, free, wired, dirty)
--swap swap usage
--tcp TCP traffic (v4)
--udp UDP traffic (v4)
--traffic Net traffic statistics
--io Linux I/O performance
--pcsw Process (task) creation and context switch
--partition Disk and partition usage
--tcpx TCP connection data
--load System Run Queue and load average
Copy
只带日期不带其他参数的时候，显示的是指定日期的所有采集的summary字段。
#tsar --date 20150930
Time ---cpu-- -------mem------ ---tcp-- -----traffic---- --sda--- --sdb--- ---load-
Time util util ratio retran bytin bytout util util load1
30/09/15-00:05 57.35 62.69 0.11 0.00 2.3M 6.7M 22.75 34.09 37.68
30/09/15-00:10 61.22 62.78 0.13 0.01 1.9M 16.4M 23.24 24.75 34.25
30/09/15-00:15 62.93 62.82 0.11 0.01 2.1M 10.8M 23.83 21.86 21.41
30/09/15-00:20 58.31 62.85 0.16 0.01 1.9M 10.2M 21.46 21.19 17.14
30/09/15-00:25 56.25 62.88 0.23 0.01 1.8M 9.6M 20.51 21.66 30.48
30/09/15-00:30 59.22 62.90 0.11 0.01 2.2M 10.0M 34.38 23.24 23.06
30/09/15-00:35 57.72 62.89 0.09 0.01 2.2M 10.3M 34.91 20.77 27.65
30/09/15-00:40 56.63 62.91 0.13 0.01 2.2M 9.6M 36.05 19.34 17.15
30/09/15-00:45 57.49 62.92 0.16 0.01 2.2M 10.2M 33.78 20.62 23.62
30/09/15-00:50 56.13 62.94 0.09 0.00 2.1M 10.1M 33.77 19.24 20.60
30/09/15-00:55 56.48 62.95 0.05 0.02 2.1M 13.3M 34.13 20.23 17.17
30/09/15-01:00 54.11 62.94 0.08 0.01 2.1M 10.0M 32.94 18.41 27.64
30/09/15-01:05 54.83 62.92 0.13 0.01 2.5M 10.9M 33.96 19.91 22.50
30/09/15-01:10 60.25 62.98 0.13 0.01 2.1M 12.1M 34.82 20.57 20.58
30/09/15-01:15 62.58 63.03 0.09 0.02 2.1M 12.8M 33.29 20.88 23.63
30/09/15-01:20 63.97 63.04 0.16 0.02 2.4M 18.2M 33.00 19.74 26.18
30/09/15-01:25 63.02 62.96 0.07 0.01 3.0M 13.8M 32.53 27.91 24.34
30/09/15-01:30 60.53 63.00 0.09 0.01 2.1M 11.5M 33.48 26.12 23.54
30/09/15-01:35 55.07 62.98 0.13 0.00 2.1M 10.0M 33.81 20.44 23.33
Time ---cpu-- -------mem------ ---tcp-- -----traffic---- --sda--- --sdb--- ---load-
Time util util ratio retran bytin bytout util util load1
30/09/15-01:40 54.13 62.94 0.14 0.01 2.0M 9.5M 32.76 19.58 17.02
30/09/15-01:45 48.20 62.86 0.27 0.00 2.0M 7.1M 32.81 14.05 23.17
<省略...>
30/09/15-09:00 58.10 61.97 0.33 0.00 2.0M 7.4M 22.38 25.51 33.47
30/09/15-09:05 58.74 61.99 0.04 0.01 2.9M 12.1M 25.77 23.63 21.08
MAX 75.55 63.04 2.79 0.00 3.3M 21.1M 36.05 47.26 40.64
MEAN 54.38 62.08 0.16 0.01 2.1M 9.5M 26.99 20.75 20.77
MIN 43.21 59.17 0.11 0.00 1.6M 5.9M 16.52 13.74 11.67
Copy
备注：
1. 这些记录是从tsar的采集文件里读取的。文件默认位置在 /var/log/tsar.data。
2. 文件中采集的时间间隔是1分钟，tsar默认显示时间间隔是5分钟。
3. 默认展示cpu、memory、tcp、traffic、io、load等6个模块的summary字段。通常我们只需要关注cpu、memory、load、io模块
tsar采集nginx指标解释
###nginx
####字段含义
* Accept:总共接收的新连接数目
* Handle:总共处理的连接数目
* Reqs:总共产生请求数目
* Active:活跃的连接数,等于read+write+wait
* Read:读取请求数据的连接数目
* Write:向用户写响应数据的连接数目
* Wait:长连接等待的连接数目
* Qps:每秒处理的请求数
* Rt:平均响应时间ms
####采集方法
通过nginx的采集模块配置,访问特定地址,具体参见:https://github.com/taobao/tsar-mod_nginx
location = /nginx_status {
stub_status on;
}
请求到的数据是:
Active connections: 1
server accepts handled requests request_time
24 24 7 0
Reading: 0 Writing: 1 Waiting: 0
需要确保nginx配置该location,并且能够访问`curl http://localhost/nginx_status`得到上面的数据
如果nginx的端口不是80,则需要在配置文件中指定端口,配置文件是/etc/tsar/tsar.conf,修改mod_nginx on为mod_nginx on 8080
类似的有nginx_code, nginx_domain模块,相应的配置是:
req_status_zone server "$host" 20M;
req_status server;
location /traffic_status {
req_status_show;
}
通过访问`curl http://localhost/traffic_status`能够得到如下字段的数据
`localhost,0,0,2,2,2,0,0,0,0,0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,0,0,0`
请求到的数据每个字段的含义是:
* kv 计算得到的req_status_zone指令定义变量的值,此时为domain字段
* bytes_in_total 从客户端接收流量总和
* bytes_out_total 发送到客户端流量总和
* conn_total 处理过的连接总数
* req_total 处理过的总请求数
* 2xx 2xx请求的总数
* 3xx 3xx请求的总数
* 4xx 4xx请求的总数
* 5xx 5xx请求的总数
* other 其他请求的总数
* rt_total rt的总数
* upstream_req 需要访问upstream的请求总数
* upstream_rt 访问upstream的总rt
* upstream_tries upstram总访问次数
* 200 200请求的总数
* 206 206请求的总数
* 302 302请求的总数
* 304 304请求的总数
* 403 403请求的总数
* 404 404请求的总数
* 416 416请求的总数
* 499 499请求的总数
* 500 500请求的总数
* 502 502请求的总数
* 503 503请求的总数
* 504 504请求的总数
* 508 508请求的总数
* detail_other 非以上13种status code的请求总数
如果domain数量太多,或者端口不是80,需要进行专门的配置,配置文件内容如下:
port=8080 #指定nginx的端口
top=10 #指定最多采集的域名个数，按照请求总个数排列
domain=a.com b.com #指定特定需要采集的域名列表,分隔符为空格,逗号,或者制表符
在/etc/tsar/tsar.conf中指定配置文件的路径:mod_nginx_domain on /tmp/my.conf
####nginx_domain_traffic
nginx配置是:
req_status_zone server "$host" 20M;
req_status server;
# req_status_zone_add_indecator 指令：可以在req status输出的每一行最后添加新的字段
# 这里添加的字段用于统计nginx的变量: $2xx_bytes_sent, $3xx_bytes_sent, $4xx_bytes_sent, $5xx_bytes_sent
# $2xx_bytes_sent: 请求返回2xx时候，发送给客户端的数据量(如果请求非2xx则该变量为0)
req_status_zone_add_indecator server $2xx_bytes_sent $3xx_bytes_sent $4xx_bytes_sent $5xx_bytes_sent;
location /traffic_status {
req_status_show;
}
输出实例:
module004033.sqa.cm4 tsar $ tsar --nginx_domain_traffic -li1
Time -----------------localhost:8080----------------- ----------------www.foo.com:8080----------------
Time bytin bytout 2XXout 3XXout 4XXout 5XXout bytin bytout 2XXout 3XXout 4XXout 5XXout
09/01/15-13:45:48 0.00 0.00 0.00 0.00 0.00 0.00 410.1K 16.6M 16.6M 0.00 0.00 0.00
09/01/15-13:45:49 0.00 0.00 0.00 0.00 0.00 0.00 407.8K 16.5M 16.5M 0.00 0.00 0.00
09/01/15-13:45:51 159.0K 287.4K 0.00 0.00 0.00 287.4K 258.6K 10.5M 10.5M 0.00 0.00 0.00
09/01/15-13:45:52 245.5K 443.5K 0.00 0.00 0.00 443.5K 224.2K 9.1M 9.1M 0.00 0.00 0.00
字段含义:
* bytin: 收到的请求字节数byte/s
* bytout: 输出的应答字节数byte/s
* 2XXout: 输出的2XX应答字节数byte/s
* 3XXout: 输出的3XX应答字节数byte/s
* 4XXout: 输出的4XX应答字节数byte/s
* 5XXout: 输出的5XX应答字节数byte/s
####nginx_ups
用于输出nginx upstream想关信息
nginx配置是:
req_status_zone server "$host" 20M;
req_status server;
req_status_zone_add_indecator server $response_fbt_time $upstream_response_fbt_time $upstream_response_length;
location /traffic_status {
req_status_show;
}
输出实例:
module004033.sqa.cm4 tsar $ tsar --nginx_ups -li1
Time ----------------------------nginx_ups---------------------------
Time traff qps 4XX 5XX rqps rt fbt ufbt
09/01/15-16:26:29 15.8M 3.9K 3.9K 0.00 0.00 9.7K 9.7K 9.7K
09/01/15-16:26:30 15.8M 3.9K 3.9K 0.00 0.00 9.7K 9.7K 9.7K
09/01/15-16:26:31 4.9M 1.2K 1.2K 0.00 0.00 3.0K 3.0K 3.0K
字段含义:
* traff: 后端返回的应答body的流量(不包括http应答头部)
* qps: 后端qps
* rqps: 后端总qps(包含重试的qps + 后端qps)
* 4XX: 后端返回4XX状态码的qps
* 5XX: 后端返回5XX状态码的qps
* rt: 后端应答时间
* fbt: tengine首字节时间
* ufbt: 后端应答首字节时间