prometheus配置文件动态管理
由于Prometheus是“拉”的方式主动监测，所以需要在server端指定被监控节点的列表。当被监控的节点增多之后，每次增加节点都需要更改配置文件，非常麻烦，我这里用consul-template+consul动态生成配置文件，这种方式同样适用于其他需要频繁更改配置文件的服务。另外一种解决方案是etcd+confd，基本现在主流的动态配置系统分这两大阵营。consul-template的定位和confd差不多，不过它是consul自家推出的模板系统。
1.普通实现方法
先看下普通配置下Prometheus的配置文件样例：
- job_name: 'node-exporter'
static_configs:
- targets: ['10.167.202.10:9100']
labels:
hostname: 'web1'
- targets: ['10.167.202.11:9100']
labels:
hostname: 'web2'
- targets: ['10.167.202.12:9100']
labels:
hostname: 'web3'
2. file_sd_config实现方法
每次新加监控节点的时候，只需要添加一个新的targets即可，“hostname”是我自定义的一个label标签，方便区分。
当targets的数量达到几百上千之后，就产生一个问题，配置文件看起来就会特别冗余。所以有经验的运维人就会想到用include的方式，把其他的配置文件包含进来，这样就把一个大而冗余的主配置文件，切分成一个个小的配置文件。Prometheus这里用的方法就是基于文件的服务发现--"file_sd_config"。我这里在prometheus下面新建了一个conf.d的目录，包含两个子配置文件，分别监控不同系统的机器，linux和windows的机器：
在prometheus.yml中加入如下的配置
- job_name: 'linuxnode-discorvery'
file_sd_configs:
- files:
- /apps/prometheus/conf.d/linuxnode-discovery.json
- job_name: 'windowsnode-discorvery'
file_sd_configs:
- files:
- /apps/prometheus/conf.d/windowsnode-discovery.json
file_sd_config参考样例
子配置文件可以是YAML或JSON格式，我这里用的JSON格式，示例如下：
cat conf.d/lnode-discovery.json
[
{
"targets": ["10.167.202.235:9100"],
"labels": {
"hostname": "test-01"
}
},
{
"targets": ["10.167.202.199:9100"],
"labels": {
"hostname": "test-02"
}
}
]
启动服务后，如下：
以后添加节点，编辑对应的json文件即可，不用重启服务。