本讲内容
- prometheus命令行格式
- rate函数使用
- increase函数使用
- sum函数使用
（一）prometheus命令行格式
我们选一个新的key来做讲解
count_netstat_wait_connections #TCP wait_connect数
这个key值不少我们熟悉的node_exporter挖掘而来
而是我们自定义并使用bash脚本+pushgateway的方式推送到 prometheus server采集
类型gauge
gauge类型的数据，属于随机变化的数值，并不像Counter那样是持续增长的
把一个key直接输入命令行之后得到的是最原始的数据输出
相对Counter数据gauge不需要任何increase() rate()之类的函数计算
直接输入以后就可以看到已经成型的有确实意义的曲线图，如下图
标签：来自于采集数据也可以自定义
例如上面数据的instance标签是指明备监控的服务器
可以在命令中使用标签进行进一步过滤例如
process_open_fds{instance="192.168.1.101:9100"}
查询多个有多个结果的时候也可以使用鼠标点击进行过滤
过滤后就只显示某一台服务器的信息
过滤除了精确匹配 还有 模糊匹配
例如
process_open_fds{instance=~"192.168.1.*"}
模糊匹配=~ 模糊不匹配!~
标签过滤之后对数值过滤
process_open_fds{instance="192.168.1.11:9100"}>8
显示的就是一些片段了
（二）rate函数
rate函数可以说是prometheus提供的最重要的函数
rate函数是专门搭配Counter类型数据使用的函数
它的功能是安装设置一个时间段，取Counter在这个时间段中平均每秒的增量
举例说明
网络流量key
node_network_receive_bytes
获取一分钟内平均每秒的增量
rate(node_network_receive_bytes [1m])
注意：所以说 我们以后在使⽤任何counter数据类型的时候，永远记 得 别的先不做 先给它加上⼀个 rate() 或者 increase()
接下来我们把rate()做的事情更加细化来解释一下
例如从09:20:43-09:21:43
累积量从1031796930910到了1031872038733
一分钟内增加的1000bytes（假设）
从9:21-9:26
五分钟增加了5000bytes（假设）
加入rate(. [1m])之后
会把1000bytes除以1m*60秒 =~16bytes
就是这样计算出在这一分钟内平均每秒增加16bytes
修改把1m=》5m
这样就把5分钟内的增量除以5m*60秒
5分钟的增量加入是5000那么除以300以后还是约等于16bytes/s
感觉好像一模一样
对比1m和5m
明显1分钟的曲线比5分钟的曲线平缓
虽然平均每秒的速度都是16bytes
如果 我们按照 rate(1m)这样来取，那么是取1分钟内的增量 除 以秒数
如果 我们按照 rate(5m)这样来取，那么是取5分钟内的增量 除 以秒数
⽽这种取法 是⼀种平均的取法 ⽽且是假设的
刚才我们说 counter在 ⼀分钟 5分钟 之内的增量 1000 和 5000 其实是⼀种假设的理想状态
事实上 ⽣产环境 ⽹络数据接收量 可不是这么平均的 有可能在 第⼀分钟内 增加了 1000 ， 到 第⼆分钟 就变成增加 了2500 ….
所以 rate(1m) 这样的取值⽅法 ⽐起 rate(5m) ，因为它取的时 间段短，所以 任何某⼀瞬间的凸起或者降低 在成图的时候 会体现的更细致 更敏感
⽽ rate(5m) 把整个5分钟内的 都⼀起平均了，那么当发⽣瞬时 凸起的时候 ，会显得图平缓了⼀些 （因为 取的时间段长 把 波峰波⾕ 都给平均消下去了）
那么我们再放⼤⼀些 看看 rate(20m) 会怎么样
更加平缓了
在我们的⼯作中 取1m 还是取5m 这个取决于 我们对于监控数据的敏感性程度来挑选
（3）increase函数
increase 函数 其实和rate() 的概念及使⽤⽅法 ⾮常相似
rate(1m) 是取⼀段时间增量的平均每秒数量 increase(1m) 则是 取⼀段时间增量的总量
对比
图形形状基本一样，但是y轴的数值是不一样的
从这两个图 我们可以看到 其实曲线的⾛势 基本是⼀样的 但是 显⽰出来的数量级bytes 可不⼀样 3106868.4 * 60 = 186412104 (发现) 正好是 60倍 也就很好理理解了了，increase() 是不不会取⼀一秒的平均值的
生产中应该如何选择两个函数
采集粗糙例如每五分钟采集一次的数据，如果使用rate函数则因为是每秒的平均使用可能产生断点，则需要使用increase
采集数据不频繁采用increase
rate()适用于CPU 内存 硬盘IO 网络流量
increase()适用于硬盘容量等不会经常性发送突变的
（四）sum函数
sum就是总取和
sum会把结果集输出进行总加和
例如
rate(node_network_receive_bytes[1m])
显⽰的结果集 会包含如 下内容
使用sum函数以后
sum(rate(node_network_receive_bytes[1m]) )
把所有的网络流量汇总了
我们之前也说过，如果要进⾏下⼀层的拆分 需要在 sum() 的后⾯ 加上 by (instance)
sum(rate(node_network_receive_bytes[1m]) ) by(instance)
但是如果 我们希望 按集群总量输出呢？ ⽐如 我们返回了20台机器的数据 其中 有6台 属于 web server 10台属于 DB server 其他的 属于⼀般server
那么我们这时候 sum() by (cluster_name) 就可以帮我们实现 集 群加合并分三条曲线输出了
顺带⼀提的是 (cluster_name) 这个标签，默认node_exporter 是没有办法提供的 node_exporter只能按照 不同的机器名去划分
如果希望 ⽀持cluster_name 我们需要⾃⾏定义标签（往后的课程介绍）
（五）topk（）函数
取前几位最高值
例如
topk(3,node_network_receive_bytes)
这个函数一般使用只适合于在console查看（返回当时瞬时的数据），针对graph的意义不大
如下图所示
Topk因为对于每⼀个时间点 都只取前三⾼的数值 那么必然会造成 单个机器的采集数据不连贯
因为：⽐如 server01在在这⼀分钟的 wait_connection数量排在 所有机器的前三 ，到了下⼀分钟 可能就排到垫底了.. ⾃然其 曲线就会中断 实际使⽤的时候 ⼀般⽤topk（）函数 进⾏瞬时报警 ⽽不是为 了观察曲线图
（六）count()函数
定义： 把数值符合条件的 输出数⽬进⾏加合
举例
找出当前（或者历史的）打开文件描述符大于8的机器数量
count(process_open_fds>8)
这个函数在实际⼯作中还是很有⽤的 ⼀般⽤它count进⾏⼀些模糊的监控判断
count返回的是一个加和的数值
⽐如说 企业中有100台服务器，那么当只有10台服务器CPU⾼ 于80%的时候 这个时候不需要报警 但是 当符合80%CPU的服务器数量 超过 30台的时候 那么就 会触发报警 count()
更多函数查看官网：https://prometheus.io/docs/prometheus/latest/querying/functions/