Prometheus Operator和kube-prometheus

处理直接在k8s中部署Prometheus，还可以先部署Prometheus Operator，通过它来部署Prometheus：

 

在部署Operator控制器前，需要创建5个CRD：

• Prometheus

作为Prometheus Server的抽象

• ServiceMonitor

作为各种exporter（专门提供metrics数据接口的工具）的抽象

Prometheus通过ServiceMonitor提供的metrics数据接口pull数据的。

一个ServiceMonitor可以通过labelSelector的方式去匹配一类Service，Prometheus也可以通过labelSelector去匹配多个ServiceMonitor；

• alertmanager

作为AlertManager的抽象

• PrometheusRule

被Prometheus实例使用的报警规则文件

• PodMonitor

定义了监控哪些Pod

 

后来又新增了3个：

• Probe

定义了静态监控目标

• ThanosRuler
• AlertmanagerConfig

定义了该Namespace下的Alertmanager配置

 

Operator作为控制器，会去创建这些资源对象，然后一直监控并维持它们的状态

直接操作这些资源对象，就可以在集群中监控数据

 

prometheus提供了kube-prometheus项目，默认将Operator默认部署在名为monitoring的namespace，还提供了以下组件的yaml文件：

• grafana
• node-exporter
• alart-manager
• prometheus

根据prometheus-prometheus.yaml等文件的描述，以statefulset方式启动的Prometheus Server，从node-exporter、cadvisor拉取数据并存储为时序数据。

自带的UI监听在9090端口，建议改成NodePort方式对外暴露

• kube-state-metrics

监听k8s apiserver中各个对象（deployment、Pod、Node等）的事件，对外提供metrics

• k8s-prometheus-adpater

它是一个API服务器，提供了一个APIServer服务，名为custom-metrics-apiserver，这个自定义APIServer通过Kubernetes aggregator聚合到apiserver

将prometheus中可以用PromQL查询到的指标数据转换成k8s对应的数据格式，在API组custom.metrics.k8s.io中提供出来

 

 

其它

cadvisor：集成于kubelet中的cAdvisor模块负责采集运行于当前节点上所有Pod资源（cpu、memory、network、filesystem等）使用情况，按Node、Pod、Container三种级别计算汇总后，通过/stats/summary 和/metrics/cadvisor两个接口分别向metrics-server提供核心监控指标、向Prometheus提供业务监控指标

 

通过ServiceMonitor监控etcd：

apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  labels:
    k8s-app: etcd
  name: etcd
  namespace: monitoring
spec:
  endpoints:
  - interval: 30s
    port: https-metrics
    scheme: https
    tlsConfig:
      insecureSkipVerify: true
  jobLabel: k8s-app
  namespaceSelector:
    matchNames:
    - kube-system
  selector:
    matchLabels:
      k8s-app: etcd

此处insecureSkipVerify: true表示跳过证书认证

 

如果不允许跳过，需要预先把证书配到prometheus里

（1）使用给etcd签名的CA公钥、进行healthcheck的客户端公钥私钥创建secret：

kubectl -n monitoring create secret generic etcd-certs --from-file=xxx --from-file=xxx --from-file=xxx

（2）描述prometheus状态的自定义资源对象prometheus里，添加此secret：

    secret:
    - etcd-certs

prometheus会将这三个文件放在/etc/prometheus/secrets/etcd-certs下

（3）tlsConfig改成：

    tlsConfig:
      caFile: /etc/prometheus/secrets/etcd-certs/xxx
      certFile: /etc/prometheus/secrets/etcd-certs/xxx
      keyFile: /etc/prometheus/secrets/etcd-certs/xxx

 

如果etcd不是k8s内部服务方式部署的，需要自己创建service：

apiVersion: v1
kind: Service
metadata:
  labels:
    k8s-app: etcd
  name: etcd
  namespace: kube-system
spec:
  type: ClusterIP
  clusterIP: None
  ports:
  - name: https-metrics
    port: 2379
    protocol: TCP
    targetPort: 2379

自己配置endpoints：

apiVersion: v1
kind: Endpoints
metadata:
  labels:
    k8s-app: etcd
  name: etcd
  namespace: kube-system
subsets:
- addresses:
  - ip: 132.252.136.99
  - ip: 132.252.136.100
  - ip: 132.252.136.101
  - ip: 132.252.136.102
  - ip: 132.252.136.103
  ports:
  - name: https-metrics
    port: 2379
    protocol: TCP

kube-proxy配置同理

 

kube-prometheus已经提供了kube-controller-manager、kube-scheduler的ServiceMonitor，但如果是二进制部署的，同样需要创建service，并且修改k8s自带的endpoints

 

kube-apiserver、kubelet等的ServiceMonitor同样已提供，但即使是二进制部署，也不需要再自行创建它们的service和endpoints

 

此外，还默认集成了coredns的ServiceMonitor