zoukankan      html  css  js  c++  java
  • elk日志分析系统搭建步骤及配置实战(详细版)

    1.   整体方案图

    2.   搭建步骤

    (一).filebeat搭建步骤

           (1). 官网下载filebeat 7.6.1版本tar包.

           官网下载地址:https://www.elastic.co/cn/downloads

     

    图1.1 进入官网下载地址,点击beats的下载按钮。

     

    图1.2 点击filebeat的download。

     

    图1.3 选择适合的版本下载,我这里选择64位linux的版本。

    (2.)在目标服务器创建elk文件夹,将filebeat的tar包文件通过ftp工具复制进去并解压。(目标服务器就是需要采集的日志所在的服务器,filebeat可以在不同服务器搭建多个进行采集)

     

     

    (3.)进入filebeat文件夹,修改filebeat.yml配置文件。

     

    配置如下:

    filebeat.inputs:

    - type: log

      enabled: true                                              #true为启用,默认为true

      paths:

    - /home/nmc/backend/*/log/*.log      #填入要采集的日志文件地址,*为匹配符。

    output.logstash:

      hosts: ["localhost:5044"]         #输出的logstash的地址,此处代表输出到本地的logstash

     

    (二).logstash搭建步骤

    (1). 官网下载logstash 7.6.1版本tar包.

           官网下载地址:https://www.elastic.co/cn/downloads

     

    图2.1 选择logstash下载,下载步骤参照filebeat的下载。

    (2.)将logstash的tar包文件通过ftp工具复制进去elk文件夹并解压。

    (3.)进入logstash的config文件夹,修改配置文件logstash-sample.conf。

    配置文件如下:

    input {

      beats {                                   #意思是用beats输入到logstash

        port => 5044

      }

    }

     

    output {

       elasticsearch {                       #输出到elasticsearch

         hosts => ["http://localhost:9200"]

       }

    }

    (4.)logstash有很多的过滤器插件,可以根据需要在配置文件中配置使用。

    (三). elasticsearch搭建步骤

    (1). 官网下载elasticsearch 7.6.1版本tar包.

           官网下载地址:https://www.elastic.co/cn/downloads

     

    图3.1 选择elasticsearch的下载,下载步骤参照filebeat的下载。

    (2.)将elasticsearch的tar包文件通过ftp工具复制进去elk文件夹并解压。

    (3.)无需修改配置文件。

    (4.)如果当前服务器jdk版本不满足,可以使用elasticsearch自带的jdk12,方法如下:

           进入elasticsearch的bin目录,修改elasticsearch文件,在开头添加上这一行:export JAVA_HOME={此处为你的elasticsearch路径}/jdk/,并相应的修改垃圾内存回收机制,进入elasticsearch的config目录,修改jvm.options文件,将 : -XX:+UseConcMarkSweepGC

    改为:-XX:+UseG1GC。

    (四). kibana搭建步骤

    (1). 官网下载kibana 7.6.1版本tar包.

           官网下载地址:https://www.elastic.co/cn/downloads

     

    图4.1 选择kibana的下载,下载步骤参照filebeat的下载。

     

    (2.)将kibana的tar包文件通过ftp工具复制进去elk文件夹并解压。

    (3.)进入kibana的config文件夹,修改配置文件kibana.yml。

    配置文件如下:

    server.host: 0.0.0.0

    elasticsearch.hosts: ["http://127.0.0.1:9200"]

    i18n.locale: "zh-CN"

    2.   启动步骤

    启动按elasticsearch ->kibana -> logstash-> filebeat顺序启动

    (1). elasticsearch启动

    在elasticsearch的bin目录下,执行:nohup ./elasticsearch > elasticsearch.log 2>&1 &

    ,默认端口号为9200

    (2). kibana启动

    在kibana的bin目录下,执行:nohup ./kibana > kibana.log 2>&1 &

    ,默认端口号为5601

    (3). logstash启动

    在logstash的bin目录下,执行:nohup ./logstash -f ../config/logstash-sample.conf > logstash.log 2>&1 &

    ,默认端口号为9600

     (4). Filebeat启动

    在filebeat的bin目录下,执行:nohup ./filebeat -e -c filebeat.yml -d "publish" > filebeat.log 2>&1 &

    (注:第一次启动,关闭shell窗口时先使用exit退出,再进行关闭窗口操作)

    4.  kibana页面进入及设置

    (1). 界面地址

    地址:{此处为kibana所在的服务器ip地址}:5601,如10.1.8.116:5601.

    (2). 添加索引

     

    根据页面提示,添加索引进行查看日志。

     

  • 相关阅读:
    SP笔记:交叉实现七行并成一行
    HTML tag 学习
    操作哈希表
    Efficient bipedal robots based on passivedynamic walkers
    Pushing People Around
    ZEROMOMENT PONTTHIRTY FIVE YEARS OF ITS LIFE

    Active Learning for RealTime Motion Controllers
    Accelerometerbased User Interfaces for the Control of a Physically Simulated Character
    Dynamic Response for Motion Capture Animation
  • 原文地址:https://www.cnblogs.com/kwblog/p/13531966.html
Copyright © 2011-2022 走看看