linux(centos8):prometheus使用alertmanager发送报警邮件(prometheus 2.18.1/alertmanager 0.20.0)

一，alertmanager的用途

1,Alertmanager的作用：

Alertmanager是一个独立的报警模块，

它接收Prometheus等客户端发来的警报，并通过分组、删除重复等处理，

通过路由把警报发送给正确的接收器；

报警方式可以按照不同的规则发送给不同的模块负责人，

Alertmanager支持Email, Slack，等报警方式, 

也支持通过webhook接入钉钉等IM工具

 

2，我们这里配置的例子：

当一台运行node_exporter的服务器发生故障后，

alertmanager通过prometheus得到监控信息，

会发送邮件给指定的邮箱实现报警

 

说明：刘宏缔的架构森林是一个专注架构的博客，地址：https://www.cnblogs.com/architectforest

         对应的源码可以访问这里获取： https://github.com/liuhongdi/

说明：作者:刘宏缔 邮箱: 371125307@qq.com

二，下载alertmanager

1,官网下载地址

https://prometheus.io/download/

2,下载安装包

[root@blog prometheus]# pwd
/usr/local/source/prometheus
[root@blog prometheus]# wget https://github.com/prometheus/alertmanager/releases/download/v0.20.0/alertmanager-0.20.0.linux-amd64.tar.gz

三，安装alertmanager

1,解压

[root@blog prometheus]# tar -zxvf alertmanager-0.20.0.linux-amd64.tar.gz

2,移动到安装目录

[root@blog prometheus]# mv alertmanager-0.20.0.linux-amd64 /usr/local/soft/

3,查看安装效果:

   查看alertmanager的版本

[root@blog prometheus]# /usr/local/soft/alertmanager-0.20.0.linux-amd64/alertmanager --version
alertmanager, version 0.20.0 (branch: HEAD, revision: f74be0400a6243d10bb53812d6fa408ad71ff32d)
  build user:       root@00c3106655f8
  build date:       20191211-14:13:14
  go version:       go1.13.5

四，配置alertmanager

1,编辑配置文件

[root@blog alertmanager-0.20.0.linux-amd64]# pwd
/usr/local/soft/alertmanager-0.20.0.linux-amd64
[root@blog alertmanager-0.20.0.linux-amd64]# vi alertmanager.yml

内容:

global:
  resolve_timeout: 5m
  smtp_smarthost: 'smtp.163.com:465'
  smtp_from: 'chinalinuxzend@163.com'
  smtp_auth_username: 'chinalinuxzend@163.com'
  smtp_auth_password: 'yourauthcode'
  smtp_require_tls: false
route:
  group_by: ['alertname']
  group_wait: 10s
  group_interval: 10s
  repeat_interval: 1h
  receiver: 'mail'
receivers:
- name: 'mail'
  email_configs:
    - to: '371125307@qq.com'

说明：

如果是在阿里云上，需要配置465端口发送邮件，因为25端口被封禁了，参考这一篇:

https://www.cnblogs.com/architectforest/p/12924395.html

smtp_auth_password:它不是邮箱的登录密码，而是邮件服务商提供的一个授权码

2,检查配置是否正确？

[root@blog alertmanager-0.20.0.linux-amd64]# ./amtool check-config alertmanager.yml

如果看到Checking 'alertmanager.yml’  SUCCESS

表示配置正确

 

五,使systemd支持alertmanager服务

 

1,编辑service文件

[root@blog alertmanager-0.20.0.linux-amd64]# vi /usr/lib/systemd/system/alertmanager.service 

内容:

[Unit]
Description=Alertmanager
After=network.target
 
[Service]
Type=simple
ExecStart=/usr/local/soft/alertmanager-0.20.0.linux-amd64/alertmanager --config.file=/usr/local/soft/alertmanager-0.20.0.linux-amd64/alertmanager.yml
Restart=on-failure
 
[Install]
WantedBy=multi-user.target

2,重新加载service文件

[root@blog alertmanager-0.20.0.linux-amd64]# systemctl daemon-reload

3,启动alertmanager服务

[root@blog alertmanager-0.20.0.linux-amd64]# systemctl start alertmanager.service

4,检查服务启动是否成功

[root@blog alertmanager-0.20.0.linux-amd64]# systemctl status alertmanager.service

5,检查alertmanager是否已在守护端口?

[root@blog alertmanager-0.20.0.linux-amd64]# ss -lntp | grep alertmanager
LISTEN   0         1024                      *:9093                   *:*        users:(("alertmanager",pid=29807,fd=6))
LISTEN   0         1024                      *:9094                   *:*        users:(("alertmanager",pid=29807,fd=3))

6,通过url访问9093端口:

http://121.122.123.47:9093/

六，配置prometheus使用alertmanager报警

1,生成报警的规则文件?

[root@blog ~]# mkdir -p /data/prometheus/rules
[root@blog ~]# cd /data/prometheus/rules/
[root@blog rules]# vi rule.yml

内容:

groups:
- name: alert-rules.yml
  rules:
  - alert: InstanceStatus # alert 名字
    expr: up{job="118node"} == 0 # 判断条件
    for: 10s # 条件保持 10s 才会发出 alter
    labels: # 设置 alert 的标签
      severity: "critical"
    annotations:  # alert 的其他标签，但不用于标识 alert
      description: 服务器  已当机超过 20s
      summary: 服务器  运行状态  

 

2,在prometheus的配置文件中，指定rule和alert

[root@blog ~]# vi /usr/local/soft/prometheus-2.18.1.linux-amd64/prometheus.yml

内容:

alerting:
  alertmanagers:
  - static_configs:
    - targets:
      - localhost:9093
rule_files:
  - "/data/prometheus/rules/rule.yml"

说明：指定了报警服务的地址/规则文件的地址

七，重启prometheus和alertmanager,使配置生效

重启prometheus

[root@blog ~]# systemctl restart prometheus.service

重启alertmanager

[root@blog ~]# systemctl restart alertmanager.service

八，测试发送邮件效果:

1,从promethus的管理界面查看已添加的alert

http://121.122.123.47:9090/alerts

如图:

 

2，在118这个node上，关掉node_exporter

[root@cacheServer ~]# ps auxfww | grep node
root      6440  0.3  0.0 718788 16520 ?        Sl   Jun05  14:13 /usr/local/soft/node_exporter-1.0.0.linux-amd64/node_exporter
[root@cacheServer ~]# kill 6440
[root@cacheServer ~]# ps auxfww | grep node

3,返回到管理界面，查看:

状态变成了firing,同时也已经收到了邮件

如图:

 

邮件内容:

 

 

九，查看prometheus的版本

[root@blog ~]# /usr/local/soft/prometheus-2.18.1.linux-amd64/prometheus --version
prometheus, version 2.18.1 (branch: HEAD, revision: ecee9c8abfd118f139014cb1b174b08db3f342cf)
  build user:       root@2117a9e64a7e
  build date:       20200507-16:51:47
  go version:       go1.14.2 

十，查看linux的版本

[root@blog ~]# cat /etc/redhat-release
CentOS Linux release 8.0.1905 (Core)