17.EFK日志收集平台（未成功）

一、介绍

添加仓库incubator（孵化，不稳定的仓库）：

[root@master ~]# helm repo add incubator https://kubernetes-charts-incubator.storage.googleapis.com/

 

EFK：Elasticsearch , Fluentd, Kibana统一日志收集和存储平台

Logstash太重量级了。

在节点收集日志的组件：Logstash，Filebeat，Fluentd，Flume等

ElasticSearch集群建议部署在K8S集群之外，因为如果部署在K8S集群上，K8S集群挂掉了，es集群也就没了。

Fluentd建议以daemonset形式托管在K8S集群之上。

Kibana可以以deployment形式托管在K8S集群之上。

ElasticSearch官方提供了专门为K8S的ElasticSearch集群部署方案，部署逻辑不同于平时的部署。（StatefulSet应用）

Master节点建议至少三个，data节点负责存储日志数据，client。（部署逻辑需要重新了解）

二、部署es集群

内存资源要求较高。

[root@master example]# kubectl create namespace efk
[root@master example]# helm fetch incubator/elasticsearch
[root@master example]# tar xf elasticsearch-1.10.2.tgz
[root@master elasticsearch]# vim values.yaml  #修改参数，为了方便，禁用master，data持久存储，生产不能这样。
[root@master elasticsearch]# helm install --name=els1 --namespace=efk -f values.yaml incubator/elasticsearch

 

由于网络问题，镜像下载不下来，所以半途而废。

三、部署fluentd

[root@master example]# helm search fluentd
[root@master example]# helm fetch incubator/fluentd
[root@master example]# tar xf fluentd-0.2.1.tgz
[root@master fluentd]# vim values.yaml  # 只需要修改使用的es集群的地址，其他的配置按照实际情况修改
[root@master fluentd]# helm install --name fluentd1 --namespace=efk -f values.yaml --incubator/fluentd

四、部署Kibana

Kibana的版本号一定要跟elasticsearch版本匹配。

[root@master example]# helm search kibana
[root@master example]# helm fetch stable/kibana
[root@master example]# tar xf kibana-0.2.2.tgz
[root@master kibana]# vim values.yaml  # 修改对应的配置，包括es地址等
[root@master kibana]# helm install --name=kibana --namespace=efk -f values.yaml  stable/kibana

部署完成后，在kibana的web页面添加索引，就可以查看日志，然后按需配置图表等。

Tips：

经常宿主机被挂起后，重新恢复节点跟pod之间通信就不通了，会出现指标采集，服务无法访问的问题，主要是宿主机的路由表被清空了，具体原因未知，已知解决方法为重新部署网络插件。