博文由来:
日志组件对于任意一个大型的系统的重要性不言自明。一般互联网企业的日志组件这一块的架构都是选用 ELK(ElasticSearch + Logstash + Kibana),其中 L 也会替换成 logback 等;而查询日志的组件基本上选择余地不多,就是使用 kibana。我司也不例外,网上关于 kibana 的使用教程多不胜数。多写这一篇,一来是记录,二来是希望在使用的过程中,总结出一点不一样的东西吧。
使用双引号包起来作为一个短语搜索
"like Gecko"
字段
也可以按页面左侧显示的字段搜索
限定字段全文搜索:field:value
精确搜索:关键字加上双引号 filed:"value"
http.code:404 搜索http状态码为404的文档。
注意 field=value这种方法不推荐。
字段本身是否存在
_exists_:http:返回结果中需要有http字段
_missing_:http:不能含有http字段
通配符
? 匹配单个字符
* 匹配0到多个字符
示例:kiba?a, el*search
? * 不能用作第一个字符,例如:?text *text
范围查询
age:[20 TO 30]
age:{20 TO 30}
[ ] 表示端点数值包含在范围内,{ } 表示端点数值不包含在范围内
正则
es支持部分正则功能,性能较差(毕竟一般情况下,都是几个 G 的纯文本日志)
name:/joh?n(ath[oa]n)/
模糊搜索
quikc~ brwn~ foks~
~:在一个单词后面加上~启用模糊搜索。
用途:
搜索一些拼写错误的单词
first~ 这种也能匹配到 frist
还可以设置编辑距离(整数),指定需要多少相似度
cromm~1 会匹配到 from 和 chrome
默认2,越大越接近搜索的原始值,设置为1基本能搜到80%拼写错误的单词
近似搜索
在短语后面加上~,可以搜到被隔开或顺序不同的单词
"where select"~5 表示 select 和 where 中间可以隔着5个单词,可以搜到 select password from users where id=1
范围搜索
数值/时间/IP/字符串 类型的字段可以对某一范围进行查询
sip:["172.24.20.110" TO "172.24.20.140"]
date:{"now-6h" TO "now"}
tag:{b TO e} 搜索b到e中间的字符
count:[10 TO *] * 表示一端不限制范围
count:[1 TO 5} [ ] 表示端点数值包含在范围内,{ } 表示端点数值不包含在范围内,可以混合使用,此语句为1到5,包括1,不包括5
可以简化成以下写法:
age:>10
age:<=10
age:(>=10 AND <20)
优先级
quick^2 fox
使用^使一个词语比另一个搜索优先级更高,默认为1,可以为0~1之间的浮点数,来降低优先级
搜索type: "nginx-access" ,它只匹配Nginx的访问日志;
type: "nginx-access" AND agent: "chrome" 。
逻辑操作(关键字要大写)
AND
OR
+:搜索结果中必须包含此项
-:不能含有此项
+apache -jakarta test aaa bbb:结果中必须存在apache,不能有jakarta,剩余部分尽量都匹配到
mysql.method: SELECT AND mysql.size: [10000 TO *]
(mysql.method: INSERT OR mysql.method: UPDATE) AND responsetime: [30 TO *]
分组
(jakarta OR apache) AND jakarta
字段分组
title:(+return +"pink panther")
host:(baidu OR qq OR google) AND host:(com OR cn)
firstname:(+H* -He*) 搜索firstname字段里H开头的结果,并且排除firstname里He开头的结果
转义特殊字符
+ - = && || > < ! ( ) { } [ ] ^ " ~ * ? : /
以上字符当作值搜索的时候需要用转义
1+11+1用来查询(1+1)