zoukankan      html  css  js  c++  java
  • EFK(Elasticsearch+Filebeat+Kibana)收集容器日志

    Elasticsearch 是一个实时的、分布式的可扩展的搜索引擎,允许进行全文、结构化搜索,它通常用于索引和搜索大量日志数据,也可用于搜索许多不同类型的文档。

    Beats 是数据采集的得力工具。将 Beats 和您的容器一起置于服务器上,或者将 Beats 作为函数加以部署,然后便可在 Elastisearch 中集中处理数据。如果需要更加强大的处理性能,Beats 还能将数据输送到 Logstash 进行转换和解析。

    Kibana 核心产品搭载了一批经典功能:柱状图、线状图、饼图、旭日图,等等。不仅如此,您还可以使用 Vega 语法来设计独属于您自己的可视化图形。所有这些都利用 Elasticsearch 的完整聚合功能。

    Elasticsearch 通常与 Kibana 一起部署,Kibana 是 Elasticsearch 的一个功能强大的数据可视化 Dashboard,Kibana 允许你通过 web 界面来浏览 Elasticsearch 日志数据。

    EFK架构图:

    2|0安装

    这里采用helm chart安装

    官方地址:https://github.com/elastic/helm-charts

    1.安装elasticsearch

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    $ helm fetch elastic/elasticsearch
     
    $ kubectl create ns logs
     
    $ helm repo add elastic https://helm.elastic.co
     
    #修改values.yaml文件中pv为storageClass动态分配
     
     volumeClaimTemplate:
      accessModes: [ "ReadWriteOnce" ]
      storageClassName: "managed-nfs-storage"
      resources:
        requests:
          storage: 30Gi
    $ helm install -n elasticsearch --namespace=logs ./elasticsearch

    查看状态

    2.安装kibana

    1
    2
    3
    4
    5
    6
    7
    8
    9
    $ helm fetch elastic/kibana
     
    #修改values.yaml文件中service为nodePort类型
     
     service:
      type: NodePort
      port: 5601
      nodePort: 30056
    $ helm install -n kibana  --namespace=logs ./kibana

    查看状态

    3.安装filebeat

    1
    2
    3
    4
    5
    6
    $ helm fetch elastic/filebeat
    #默认读取的是节点/var/lib下的所有文件
    # Root directory where Filebeat will write data to in order to persist registry data across pod restarts (file position and other metadata).
    hostPathRoot: /var/lib
     
    $ helm install -n kibana  --namespace=logs ./kibana

     查看状态,因为是DaemonSet类型所以每台node都会装一个。

     

    3|0使用

    登录kibana,创建index

    可以过滤日志

  • 相关阅读:
    Python之Django rest_Framework(3)
    django 之补充
    Python之Django rest_Framework(3)
    Python之Django rest_Framework(2)
    Python之Django rest_Framework补充
    Python之Django rest_Framework框架认证源码分析
    Python之Django rest_Framework
    Python算法——二叉树
    Python之数据结构基础
    Python之算法
  • 原文地址:https://www.cnblogs.com/cheyunhua/p/13427876.html
Copyright © 2011-2022 走看看