前言
熟悉HDFS的同学可能经常会使用到audit log文件做问题的tracking。说起audit log，它的作用可不小，它按照时间顺序精确地记录了每次的请求操作。通过这些精确的记录，我们得以精确定位到问题发生时间点，哪个用户，执行了什么命令，请求来自哪个IP等等有用的信息，以此进一步帮助我们做问题的分析。当然，我们还能将audit log进行汇总分析，这样我们能知道总体RPC请求的一个分布情况和趋势。但是HDFS在对audit log的分析上并没有提供现有的工具，只是提供现成的hdfs-audit.log的文件。好在aduit log格式统一，我们常规的做法是将audit log进行文件读取解析，然后load到db表内进行二次分析。所以如果这里系统能够提供一个额外工具能方便我们进行audit log load到db的操作，无疑这会提升audit log的易用性，因为后续的分析完全就可以基于db query来做了。Ozone作为对象存储系统，它在此方面就实现了一个audit log的parser tool，本文笔者来聊聊此工具的使用。
Ozone的OM, SCM服务的audit log格式
在Ozone的主服务中，OM/SCM服务有其各自的audit log文件，但它们遵从一致的audit格式，以下为两者服务对应的audit log记录：
OM audit log:
2019-12-07 07:11:17,264 | INFO | OMAudit | user=yiqlin | ip=xx.xx.xx.xx | op=ALLOCATE_KEY {volume=testvolume1, bucket=testbucket1, key=testfile2, dataSize=12, replicationType=RATIS, replicationFactor=THREE, keyLocationInfo=null} | ret=SUCCESS |
SCM audit log:
2019-12-07 07:30:37,338 | INFO | SCMAudit | user=hdfs | ip=xx.xx.xx.xx | op=SEND_HEARTBEAT {datanodeUUID=da6703ec-903e-42bb-9af3-2a1e1759dca1, command=[]} | ret=SUCCESS |
上面audit log中，Ozone将关于请求操作更加详细的信息都放在了op列内，然后其它列为基本信息列。
OM, SCM服务audit log的load
为了方便做audit log的分析，Ozone内部实现了audit log的parser tool，不仅支持方便导入audit log到db的操作，还能进行自定义的query分析。
我们在使用此工具的时候，首先需要执行的是audit log load到db的操作，以om的audit log命令为例：
[hdfs@lyq ~]$ ~/ozone/bin/ozone auditparser ~/om_audit.db load ~/ozone/logs/om-audit-xx.xx.xx.xx.log
/home/hdfs/ozone/logs/om-audit-xx.xx.xx.xx.log has been loaded successfully
然后我们可以看到load成功的输出，然后在hdfs目录下会生成一个db文件。
通过比较audit log的记录条数和db中的记录条数，数据的确是完全被load的。
[hdfs@lyq ~]$ wc -l ~/ozone/logs/om-audit-xx.xx.xx.xx.log
6 /home/hdfs/ozone/logs/om-audit-xx.xx.xx.xx.log
[hdfs@lyq ~]$ ~/ozone/bin/ozone auditparser ~/om_audit.db query ‘select count(*) from audit’
6
load到db的audit表的表信息如下：
CREATE TABLE IF NOT EXISTS audit (
datetime text,
level varchar(7),
logger varchar(7),
user text,
ip text,
op text,
params text,
result varchar(7),
exception text,
UNIQUE(datetime,level,logger,user,ip,op,params,result))
然后后面我们就可以在上面做query操作了。
OM, SCM服务audit log的query和template query
Ozone audit log parser支持两种模式的query：
- 第一种，自定义模式的query查询，你可以查你想要查询的条件
- 第二种，通用常用的几个模板(template)查询，可以直接输入模板名称
比如下面的自定义query为例，
[hdfs@lyq logs]$ ozone auditparser ~/scm_audit.db query “select * from audit limit 5”
2019-12-06 06:06:22,203 INFO SCMAudit hdfs xx.xx.xx.xx SEND_HEARTBEAT {datanodeUUID=dab225c6-404b-420d-8aab-e6a6c5718d4e, command=[]} SUCCESS
2019-12-06 06:06:26,099 INFO SCMAudit hdfs xx.xx.xx.xx SEND_HEARTBEAT {datanodeUUID=5b3d0cab-4ca2-4269-9a39-39df721d404f, command=[]} SUCCESS
2019-12-06 06:06:32,592 INFO SCMAudit hdfs xx.xx.xx.xx SEND_HEARTBEAT {datanodeUUID=56a13816-8a2c-4f42-a56d-6f59f7049dd5, command=[]} SUCCESS
2019-12-06 06:06:35,986 INFO SCMAudit hdfs xx.xx.xx.xx SEND_HEARTBEAT {datanodeUUID=da6703ec-903e-42bb-9af3-2a1e1759dca1, command=[]} SUCCESS
2019-12-06 06:06:52,202 INFO SCMAudit hdfs xx.xx.xx.xx SEND_HEARTBEAT {datanodeUUID=dab225c6-404b-420d-8aab-e6a6c5718d4e, command=[]} SUCCESS
我们同样可以做常见的用户汇总分析，类似如下查询，
[hdfs@lyq ~]$ ~/ozone/bin/ozone auditparser ~/om_audit.db query ‘select user,count(user) from audit group by user’
hdfs 4
yiqlin 2
audit paser tool提供了下面3个常用的模板查询，
| Template Name | Description | SQL |
|---|---|---|
| top5users | Top 5 users | select user,count(*) as total from audit group by user order by total DESC limit 5 |
| top5cmds | Top 5 commands | select op,count(*) as total from audit group by op order by total DESC limit 5 |
| top5activetimebyseconds | Top 5 active times, grouped by seconds | select substr(datetime,1,charindex(’,’,datetime)-1) as dt,count(*) as thecount from audit group by dt order by thecount DESC limit 5 |
比如我们以top5users为例，它将查到得到同上的查询结果
[hdfs@lyq ~]$ ~/ozone/bin/ozone auditparser ~/om_audit.db template top5users
hdfs 4
yiqlin 2
ozone audit pasrser工具的主要命令就是如上所描述的，但是笔者个人认为目前usage里信息还是有点少，不如官方文档描述地详细：
Usage: ozone auditparser [-hV] [--verbose] [-D=<String=String>]... <database>
[COMMAND]
Shell parser for Ozone Audit Logs
<database> Existing or new .db file
--verbose More verbose output. Show the stack trace of the errors.
-D, --set=<String=String>
-h, --help Show this help message and exit.
-V, --version Print version information and exit.
Commands:
load, l Load ozone audit log files
template, t Execute template query
query, q Execute custom query
不过总体来说，Ozone提供的这个auditlog parser tool还是十分易用的，能够让管理员做本地的快速分析。不过如果我们想做区间时间段内的整体分析的话，还是得需要将audit log解析存到额外的db进行存储。
引用
[1]. https://issues.apache.org/jira/browse/HDDS-393 . Audit Parser tool for processing ozone audit logs