Kubernetes 集群日志管理 Elasticsearch + fluentd(二十)

目录

• 一、安装部署

Kubernetes 开发了一个 Elasticsearch 附加组件来实现集群的日志管理。这是一个 Elasticsearch、Fluentd 和 Kibana 的组合。Elasticsearch 是一个搜索引擎，负责存储日志并提供查询接口；Fluentd 负责从 Kubernetes 搜集日志并发送给 Elasticsearch；Kibana 提供了一个 Web GUI，用户可以浏览和搜索存储在 Elasticsearch 中的日志。

一、安装部署

Elasticsearch 附加组件本身会作为 Kubernetes 的应用在集群里运行，其 YAML 配置文件可从 https://github.com/kubernetes/kubernetes/tree/master/cluster/addons/fluentd-elasticsearch 获取。

我们把需要的文件下载下来。

for file in es-service es-statefulset fluentd-es-configmap fluentd-es-ds kibana-deployment kibana-service; do wget https://raw.githubusercontent.com/kubernetes/kubernetes/master/cluster/addons/fluentd-elasticsearch/$file.yaml; done

官方不建议生产环境使用这种模式之间安装，因为没有设定安全以及存储卷，建议生产环境大家设定存储卷。
在我们安装之前，我们首先需要注释掉 kibana-deployment.yaml 中的环境变量 SERVER_BASEPATH，否则无法访问。

然后通过 kubectl apply -f . 部署。

[root@master elasticsearch]# kubectl apply -f .
service/elasticsearch-logging created
serviceaccount/elasticsearch-logging created
clusterrole.rbac.authorization.k8s.io/elasticsearch-logging created
clusterrolebinding.rbac.authorization.k8s.io/elasticsearch-logging created
statefulset.apps/elasticsearch-logging created
configmap/fluentd-es-config-v0.1.6 created
serviceaccount/fluentd-es created
clusterrole.rbac.authorization.k8s.io/fluentd-es created
clusterrolebinding.rbac.authorization.k8s.io/fluentd-es created
daemonset.apps/fluentd-es-v2.2.1 created
deployment.apps/kibana-logging created
service/kibana-logging created

部分镜像我们无法下载，我这里还是借用阿里云的镜像。

docker pull registry.cn-hangzhou.aliyuncs.com/ct-elasticsearch/ct-elasticsearch:6.3.0
docker tag registry.cn-hangzhou.aliyuncs.com/ct-elasticsearch/ct-elasticsearch:6.3.0 k8s.gcr.io/elasticsearch:v6.3.0
docker image rm registry.cn-hangzhou.aliyuncs.com/ct-elasticsearch/ct-elasticsearch:6.3.0

docker pull registry.cn-hangzhou.aliyuncs.com/chewel_k8s/fluentd-elasticsearch:v2.2.0
docker tag registry.cn-hangzhou.aliyuncs.com/chewel_k8s/fluentd-elasticsearch:v2.2.0 k8s.gcr.io/fluentd-elasticsearch:v2.2.0
docker image rm registry.cn-hangzhou.aliyuncs.com/chewel_k8s/fluentd-elasticsearch:v2.2.0

所有的资源都部署在 kube-system Namespace 里。
目前节点上面还没有运行Fluentd，要在节点上面启动的话，我们需要给节点打个标签beta.kubernetes.io/fluentd-ds-ready=true。

[root@master elasticsearch]# kubectl label node node01 beta.kubernetes.io/fluentd-ds-ready=true
node/node01 labeled
[root@master elasticsearch]# kubectl label node node02 beta.kubernetes.io/fluentd-ds-ready=true
node/node02 labeled

然后再查看安装情况。

[root@master elasticsearch]# kubectl get ds fluentd-es-v2.2.1 -n kube-system 
NAME                DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR                              AGE
fluentd-es-v2.2.1   2         2         0       2            0           beta.kubernetes.io/fluentd-ds-ready=true   13m

关于 fluentd 的启动，我这里遇到了一点小问题，如下：

[root@master elasticsearch]# kubectl logs fluentd-es-v2.2.1-7j47n -n kube-system
2018-12-26 04:11:04 +0000 [error]: config error file="/etc/fluent/fluent.conf" error_class=Fluent::ConfigError error="Unknown filter plugin 'concat'. Run 'gem search -rd fluent-plugin' to find plugins"