Prometheus采集监控指标的方式如下图所示,Prometheus Server经过一定的配置可以从各种Exporter主动采集监控数据。广义上的Exporter可以是任何以Prometheus标准暴露监控指标的进程。不过严格来说可以划分为以下两类:
1. 对于Etcd这类应用程序,它们在代码中利用Prometheus官方提供的SDK定义了一系列自定义指标供Prometheus Server采集,此类指标一般用于描述该程序自身的运行状况。一般对于新开发或者改动难度较小的程序,可以用这种对代码侵入性较大的方式暴露指标。
2. 标准意义上的Expoerter本质上就是指标的转换层,例如Prometheus社区提供了一个名为Node Exporter的组件,该组件的作用为采集节点的CPU,内存等指标并转换以符合Prometheus标准的格式暴露出去。一般对于代码改动难度较大或已经有成熟的指标暴露机制的程序,这种方式是较为合适的。
![](http://image.huawei.com/tiny-lts/v1/images/444ee268a013196a931c_816x405.png@900-0-90-f.png)
Prometheus Server采集指标的方式,本质上是向Exporter发送一个HTTP请求并获取该Exporter定义的所有指标内容,例如对于Node Expoerter的采集形式如下:
# curl http://192.168.0.6:9100/metrics # HELP node_network_transmit_bytes_total Network device statistic transmit_bytes. # TYPE node_network_transmit_bytes_total counter node_network_transmit_bytes_total{device="eth0"} 2.74314960472e+11 node_network_transmit_bytes_total{device="lo"} 7.248889467e+09 # HELP node_boot_time_seconds Node boot time, in unixtime. # TYPE node_boot_time_seconds gauge node_boot_time_seconds 1.574417622e+09 ...
从上述示例可以看到,一次抓取过程返回的内容本质上是纯文本,我们截取了其中的两个指标,`node_network_transmit_bytes_total`和`node_boot_time_seconds`分别表示节点上各个网卡发送的数据的字节数以及节点的启动时间。对于`node_network_transmit_bytes_total`包含一个key为`device`的label用于区分各个网卡,而`node_boot_time_seconds`并不包含任何指标。
事实上,指标中包含的label能够让我们从更多维度更好地对指标进行操作。但是很多时候,Exporter指标中原生定义的label是不足以满足我们的需求的。例如,对于Node Exporter暴露的指标中显然没有包含组织信息的label,但是如果有这么一个label存在,加上Prometheus强大的PromQL查询语句,我们能够很容易地从组织维度对指标进行划分。
那么如何在Exporter暴露的指标中添加额外的label呢?最直接的方式当然是侵入式地修改Exporter的源码,从而在源头加上这些“定制化”的labels。当然,这种方式对于一些简单的自研组件是可行的。但是对于Node Exporter以及Nginx Exporter等较为复杂的Exporter直接修改源码并不是那么地简单,而且假如我要为所有指标加上一个公共的label,那么也就意味着要修改所有Exporter的源码。
显然,我们需要一种更为通用的方式,从上文的分析可知,标准意义的Exporter本质上是一个中间层,用于指标的转换。那么我们是否可以再加一个中间层,用于自定义label的添加呢?架构如下:
![](http://image.huawei.com/tiny-lts/v1/images/5d7e3268a0d5ba109630_1282x316.png@900-0-90-f.png)
在Prometheus Server和Exporter之间构建一个中间组件Adapter,此时Prometheus不再直接向Exporter发起HTTP请求抓取监控指标,而是向Adapter发起请求。一旦Adapter接收到请求之后会转而向Exporter发起请求真正抓取到监控指标。已知指标内容其实就是一些文本,因此只要做一些简单的插入操作就能将自定义的指标注入。最后,将处理后的内容再返回至Prometheus Server即可。若Adapter注入的指标为{org="dev"},那么经过Adapter处理之后,Prometheus Server真正抓取到的指标如下:
# curl http://192.168.0.6:9100/metrics # HELP node_network_transmit_bytes_total Network device statistic transmit_bytes. # TYPE node_network_transmit_bytes_total counter node_network_transmit_bytes_total{device="eth0", org="dev"} 2.74314960472e+11 node_network_transmit_bytes_total{device="lo", org="dev"} 7.248889467e+09 # HELP node_boot_time_seconds Node boot time, in unixtime. # TYPE node_boot_time_seconds gauge node_boot_time_seconds{org="dev"} 1.574417622e+09 ...
通常在Kubernetes环境下,我们会将Adapter以Sidecar的形式部署在Exporter所在的Pod中,如果能够将Adapter需要注入的指标值从配置文件中读取并支持动态加载机制,那么我们就能非常灵活地为任意Exporter的指标加入任意的定制化label。