11-7 Grafana看板和邮件报警

报警规则

默认的报警规则values.yaml 的defaultRules： 对应rules 目录 prometheus-operator/templates/prometheus/rules

kubectl get PrometheusRule -n monitoring|less   #查看报警规则
kubectl get PrometheusRule -n monitoring -o yaml|less|grep expr    #可以参考这个报警规则自定义

设置邮件报警信息 values.yaml   alertmanager:

config:
  global:
    resolve_timeout: 5m
    # 定义发件人
    smtp_smarthost: "smtp.qq.com:25"
    smtp_from: "282595818@qq.com"
    smtp_auth_username: "282595818@qq.com"
    smtp_auth_password: "mmqqthfcebhabghc"  # 授权码
  route:
    group_by: ['job']
    group_wait: 30s
    group_interval: 5m
    repeat_interval: 12h
    receiver: 'email-alerts'
    routes:
    - match:
        alertname: .*     # Watchdog默认。   支持匹配正则的 .* 所有
      receiver: 'email-alerts'      # 发给谁
  receivers:
  - name: 'email-alerts'  #上变定义的   receiver: 'Email-Alert'
    email_configs:
    - to: 'wangjianyangy@163.com'    # 收件人
      send_resolved: true  # 当问题解决也送邮件。 默认5分钟没有达到报警条件就已经解决了。

#更新项目

helm upgrade tt-prom ./prometheus-operator/ --namespace monitoring 
helm upgrade tt-prom ./prometheus-operator/ -f ./prometheus-operator/values.yaml --namespace monitoring   #更新配置文件

停掉m3服务，查看收到报警邮件。

grafana

# 查看加密密码
kubectl get secret -n monitoring -o yaml|grep admin

# 用base64 解密  http://www.ab173.com/enc/base64.php
admin   # 解密后用户
prom-operator     #解密后密码

http://prom-grafana.tt.com/

查看数据来源

 end...