zoukankan      html  css  js  c++  java
  • elk日志分析系统搭建步骤及配置实战(详细版)

    1.   整体方案图

    2.   搭建步骤

    (一).filebeat搭建步骤

           (1). 官网下载filebeat 7.6.1版本tar包.

           官网下载地址:https://www.elastic.co/cn/downloads

     

    图1.1 进入官网下载地址,点击beats的下载按钮。

     

    图1.2 点击filebeat的download。

     

    图1.3 选择适合的版本下载,我这里选择64位linux的版本。

    (2.)在目标服务器创建elk文件夹,将filebeat的tar包文件通过ftp工具复制进去并解压。(目标服务器就是需要采集的日志所在的服务器,filebeat可以在不同服务器搭建多个进行采集)

     

     

    (3.)进入filebeat文件夹,修改filebeat.yml配置文件。

     

    配置如下:

    filebeat.inputs:

    - type: log

      enabled: true                                              #true为启用,默认为true

      paths:

    - /home/nmc/backend/*/log/*.log      #填入要采集的日志文件地址,*为匹配符。

    output.logstash:

      hosts: ["localhost:5044"]         #输出的logstash的地址,此处代表输出到本地的logstash

     

    (二).logstash搭建步骤

    (1). 官网下载logstash 7.6.1版本tar包.

           官网下载地址:https://www.elastic.co/cn/downloads

     

    图2.1 选择logstash下载,下载步骤参照filebeat的下载。

    (2.)将logstash的tar包文件通过ftp工具复制进去elk文件夹并解压。

    (3.)进入logstash的config文件夹,修改配置文件logstash-sample.conf。

    配置文件如下:

    input {

      beats {                                   #意思是用beats输入到logstash

        port => 5044

      }

    }

     

    output {

       elasticsearch {                       #输出到elasticsearch

         hosts => ["http://localhost:9200"]

       }

    }

    (4.)logstash有很多的过滤器插件,可以根据需要在配置文件中配置使用。

    (三). elasticsearch搭建步骤

    (1). 官网下载elasticsearch 7.6.1版本tar包.

           官网下载地址:https://www.elastic.co/cn/downloads

     

    图3.1 选择elasticsearch的下载,下载步骤参照filebeat的下载。

    (2.)将elasticsearch的tar包文件通过ftp工具复制进去elk文件夹并解压。

    (3.)无需修改配置文件。

    (4.)如果当前服务器jdk版本不满足,可以使用elasticsearch自带的jdk12,方法如下:

           进入elasticsearch的bin目录,修改elasticsearch文件,在开头添加上这一行:export JAVA_HOME={此处为你的elasticsearch路径}/jdk/,并相应的修改垃圾内存回收机制,进入elasticsearch的config目录,修改jvm.options文件,将 : -XX:+UseConcMarkSweepGC

    改为:-XX:+UseG1GC。

    (四). kibana搭建步骤

    (1). 官网下载kibana 7.6.1版本tar包.

           官网下载地址:https://www.elastic.co/cn/downloads

     

    图4.1 选择kibana的下载,下载步骤参照filebeat的下载。

     

    (2.)将kibana的tar包文件通过ftp工具复制进去elk文件夹并解压。

    (3.)进入kibana的config文件夹,修改配置文件kibana.yml。

    配置文件如下:

    server.host: 0.0.0.0

    elasticsearch.hosts: ["http://127.0.0.1:9200"]

    i18n.locale: "zh-CN"

    2.   启动步骤

    启动按elasticsearch ->kibana -> logstash-> filebeat顺序启动

    (1). elasticsearch启动

    在elasticsearch的bin目录下,执行:nohup ./elasticsearch > elasticsearch.log 2>&1 &

    ,默认端口号为9200

    (2). kibana启动

    在kibana的bin目录下,执行:nohup ./kibana > kibana.log 2>&1 &

    ,默认端口号为5601

    (3). logstash启动

    在logstash的bin目录下,执行:nohup ./logstash -f ../config/logstash-sample.conf > logstash.log 2>&1 &

    ,默认端口号为9600

     (4). Filebeat启动

    在filebeat的bin目录下,执行:nohup ./filebeat -e -c filebeat.yml -d "publish" > filebeat.log 2>&1 &

    (注:第一次启动,关闭shell窗口时先使用exit退出,再进行关闭窗口操作)

    4.  kibana页面进入及设置

    (1). 界面地址

    地址:{此处为kibana所在的服务器ip地址}:5601,如10.1.8.116:5601.

    (2). 添加索引

     

    根据页面提示,添加索引进行查看日志。

     

  • 相关阅读:
    400
    Eclipse中的Link with Editor功能是如何实现
    SET NOCOUNT
    response的响应头相关方法
    response发送状态码
    myeclipse在开发前的一些设置
    网站访问量统计案例
    使用ServletContext获取相关资源的方法
    获取web.xml文件中初始化参数
    域对象
  • 原文地址:https://www.cnblogs.com/kwblog/p/13531966.html
Copyright © 2011-2022 走看看