快速了解ELK日志分析系统

摘要

顾名思义ELK是由Elasticsearch，Logstash，Kibana三大组件构成的一个基于web页面的日志分析工具。

日志分析是运维工程师解决系统故障，发现问题的主要手段。日志包含多种类型，包括程序日志，系统日志以及安全日志等。通过对日志分析，预发故障的发生，又可以在故障发生时，寻找到蛛丝马迹，快速定位故障点。及时解决。

组件结构：

• Elasticsearch：是一个开源分布式时实分析搜索引擎，建立在全文搜索引擎库Apache Lucene基础上，同时隐藏了Apache Lucene的复杂性。Elasticsearch将所有的功能打包成一个独立的动画片，索引副本机制，RESTful风格接口，多数据源。自动搜索等特点。
• Logstash ：是一个完全开源的工具，主要用于日志收集，同时可以对数据处理，并输出给Elasticarch
• Kibana：也是一个完全开源的工具，kibana可以为Logstash和Elasticsearch提供图形化的日志分析。Web界面，可以汇总，分析和搜索重要数据日志。

一、ELK日志分析系统简介

1.1、日志服务器

1.1.1、提高安全性

1.1.2、集中存放日志

1.1.3、缺陷

对日志的分析困难

1.2、ELK日志分析系统

1.2.1、Elasticsearch

1.2.2、Logstash

1.2.3、Kibana

1.3、日志处理步骤

1.3.1、将日志进行集中化管理

1.3.2、将日志格式化（Logstash）并输出到（Elasticsearch）

1.3.3、对格式化后的数据进行索引和存储（Elasticsearch）

1.3.4、前端数据的展示（Kibana）

二、ELK组件介绍

2.1、ELasticsearch的概述

• 提供了一个分布式多用户能力的全文搜索引擎

2.2、Elasticsearch核心概念

2.2.1、接近实时

• elasticsearch是一个接近实时的搜索平台，这意味着，从索引一个文档直到这个文档能够被搜索到有一个轻微的延迟（通常是1秒）

2.2.2、集群

• 一个集群就是由一个或多个节点组织在一起，它们共同持有你整个的数据，并一起提供索引和搜索功能。其中一个节点为主节点，这个主节点是可以通过选举产生的，并提供跨节点的联合索引和搜索的功能。集群有一个唯一性标示的名字，默认是elasticsearch，集群名字很重要，每个节点是基于集群名字加入到其集群中的。因此，确保在不同环境中使用不同的集群名字。一个集群可以只有一个节点。强烈建议在配置elasticsearch时，配置成集群模式。

2.2.3、节点

• 节点就是一台单一的服务器，是集群的一部分，存储数据并参与集群的索引和搜索功能。像集群一样，节点也是通过名字来标识，默认是在节点启动时随机分配的字符名。当然，你可以自己定义。该名字也很重要，在集群中用于识别服务器对应的节点。节点可以通过指定集群名字来加入到集群中。默认情况，每个节点被设置成加入到elasticsearch集群。如果启动了多个节点，假设能自动发现对方，他们将会自动组建一个名为elasticsearch的集群。

2.2.4、索引

• 索引（库）→类型（表）→文档（记录）

2.2.5、分片和副本

• 在实际情况下，索引存储的数据可能超过单个节点的硬件限制。如一个10亿文档需1TB空间可能不适合存储在单个节点的磁盘上，或者从单个节点搜索请求太慢了。为了解决这个问题，elasticsearch提供将索引分成多个分片的功能。当在创建索引时，可以定义想要分片的数量。每一个分片就是一个全功能的独立的索引，可以位于集群中任何节点上。
• 每个索引可以被分成多个分片。一个索引也可以被复制0次（意思是没有复制）或多次。一旦复制了，每个索引就有了主分片（作为复制源的原来的分片）和复制分片（主分片的拷贝）之别。分片和副本的数量可以在索引创建的时候指定。
• 在索引创建之后，你可以在任何时候动态地改变副本的数量，但是你事后不能改变分片的数量。
  默认情况下，Elasticsearch中的每个索引被分片5个主分片和1个副本，这意味着，如果你的集群中至少有两个节点，你的索引将会有5个主分片和另外5个副本分片（1个完全拷贝），这样的话每个索引总共就有10个分片。

2.3、Logstash介绍

2.3.1、Logstash介绍

• 一款强大的数据处理工具
• 可实现数据传输、格式处理、格式化输出
• 数据输入、数据加工（如过滤，改写等）以及数据输出

2.3.2、Logstash主要组件

• Shipper：日志收集者，负责监控本地日志文件的变化，及时把日志文件的最新内容收集起来。通常，远程代理端（agent）只需要运行这个组件即可
• Indexer：日志存储者，负责接收日志并写入到本地文件
• Broker：日志hub，负责连接多个shipper和多个indexer
• Search and Storage：允许对事件进行搜索和存储
• Web Interface：基于Web的展示界面

2.4、Kibana介绍

2.4.1、Kibana介绍

• 一个针对Elasticsearch的开源分析及可视化平台
• 搜索、查看存储在Elasticsearch索引中的数据
• 通过各种图表进行高级数据分析及展示

2.4.2、Kibana主要功能

• Elasticsearch无缝之集成
• 整合数据，复杂数据分析
• 让更多团队成员受益
• 接口灵活，分享更容易
• 配置简单，可视化多数据源
• 简单数据导出

三、ELK日志问及那系部署

3.1、环境说明

部署两台Elasticsearch做集群，node1做ELK日志分析系统

apache	20.0.0.30	httpd
		Logstash
node1	20.0.0.10	Elasticsearch
		Kinaba
node2	20.0.0.20	Elasticsearch

3.2、Elasticsearch配置（下面的操作都需要在node1、node2上配置）

3.2.1、安装密钥及elasticsearch源

[root@node1 ~]# rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch
[root@node1 ~]# cd /etc/yum.repos.d/
[root@node1 yum.repos.d]# vi elasticsearch.repo
[elasticsearch-2.x]
name=Elasticsearch repository for 2.x packages
baseurl=http://packages.elastic.co/elasticsearch/2.x/centos
gpgcheck=1
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
enable=1

[root@node1 ~]# yum list       #查看yum清单
[root@node1 ~]# yum install elasticsearch -y    #安装elasticsearch
[root@node1 ~]# yum install java -y      #安装Java
[root@node1 ~]# java -version           #查看Java版本
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-b12)
OpenJDK 64-Bit Server VM (build 25.131-b12, mixed mode)

3.2.2、修改配置文件

[root@node1 yum.repos.d]# vi /etc/elasticsearch/elasticsearch.yml 
17行 集群名称
cluster.name: elastic

23行 节点名称
node.name: linux-node1

33行 工作目录
path.data: /data/es-data
path.logs: /var/log/elasticsearch/

43行 防止交换swap分区
bootstrap.memory_lock: true

54行 监听网络
network.host: 0.0.0.0

58行 端口
http.port: 9200

3.2.3、创建目录及开启服务

[root@node1 yum.repos.d]# mkdir -p /data/es-data
[root@node1 yum.repos.d]# chown -R elasticsearch:elasticsearch /data/es-data
[root@node1 yum.repos.d]# systemctl start elasticsearch.service 
[root@node1 yum.repos.d]# netstat -anpt | grep 9200
tcp6       0      0 :::9200                 :::*                    LISTEN      54134/java          

3.2.4、测试

http://20.0.0.10:9200

[root@node1 yum.repos.d]# curl -i -XGET 'http://20.0.0.20:9200/_count?pretty' -d '{
> "query": {
>     "match_all": {}
> }
> }'
HTTP/1.1 200 OK       #输出项
Content-Type: application/json; charset=UTF-8
Content-Length: 95

{
  "count" : 0,
  "_shards" : {
    "total" : 0,
    "successful" : 0,
    "failed" : 0
  }
}

[root@node2 yum.repos.d]# curl -i -XGET 'http://20.0.0.10:9200/_count?pretty' -d '{
> "query": {
>     "match_all": {}
> }
> }'
HTTP/1.1 200 OK      #输出项
Content-Type: application/json; charset=UTF-8
Content-Length: 95

{
  "count" : 0,
  "_shards" : {
    "total" : 0,
    "successful" : 0,
    "failed" : 0
  }
}

3.2.5、安装Elasticsearch插件

[root@node1 yum.repos.d]# /usr/share/elasticsearch/bin/plugin install mobz/elasticsearch-head

3.2.6、测试

http://20.0.0.10:9200/_plugin/head/

3.2.7、符合查询

• 提交请求

• 查询

•  删除后再查询

 

3.2.8、elasticsearch集群部署

[root@node1 yum.repos.d]# vi /etc/elasticsearch/elasticsearch.yml
69行 单播列表自动发现机制
discovery.zen.ping.unicast.hosts: ["20.0.0.10", "20.0.0.20"]

重启服务
[root@node1 yum.repos.d]# systemctl restart elasticsearch.service

3.2.9、测试

http://20.0.0.10:9200/_plugin/head/

3.2.10、node-01和node-02日志提示不让锁内存

[root@node1 elasticsearch]# less /var/log/elasticsearch/elastic.log
......
[2020-11-18 10:36:42,959][WARN ][bootstrap                ] These can be adjusted by modifying /etc/security/limits.conf, for example: 
        # allow user 'elasticsearch' mlockall
        elasticsearch soft memlock unlimited
        elasticsearch hard memlock unlimited

修改配置文件
[root@node1 elasticsearch]# vi /etc/security/limits.conf 
//末尾插入
# allow user 'elasticsearch' mlockall
elasticsearch soft memlock unlimited
elasticsearch hard memlock unlimited

[root@node1 elasticsearch]# systemctl stop elasticsearch.service 
[root@node1 elasticsearch]# systemctl start elasticsearch.service 

3.2.11、安装监控组件

[root@node1 elasticsearch]# /usr/share/elasticsearch/bin/plugin install lmenezes/elasticsearch-kopf

3.2.12、测试

 

3.3、Logstash部署（apache上部署）

3.3.1、安装httpd并开启服务

[root@apache ~]# yum -y install httpd 
[root@apache ~]# systemctl start httpd
[root@apache ~]# netstat -anpt | grep httpd
tcp6       0      0 :::80                   :::*                    LISTEN      15620/httpd         
[root@apache ~]# echo '<h1>this is web!</h1>' > /var/www/html/index.html
[root@apache ~]# curl http://localhost
<h1>this is web!</h1>

3.3.2、安装密钥及Logstash源

[root@node1 elasticsearch]# rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch
[root@node1 elasticsearch]# vi /etc/yum.repos.d/logstash.repo
[logstash-2.1]
name=Logstash repository for 2.1.x packages
baseurl=http://packages.elastic.co/logstash/2.1/centos
gpgcheck=1
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
enable=1

安装Logstash
[root@node1 elasticsearch]# yum install logstash -y

 3.3.3、安装java环境，没有自带安装使用yum -y install java安装

[root@apache ~]# yum -y install java
[root@apache ~]# java -version
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-b12)
OpenJDK 64-Bit Server VM (build 25.131-b12, mixed mode)
6 [root@apache bin]# ln -s /opt/logstash/bin/logstash /usr/local/bin/

3.3.4、logstash（apache）与elasticsearch（node）功能是否正常，做对接测试

[root@apache bin]# logstash -e 'input { stdin{} } output { stdout{} }'
Settings: Default filter workers: 1
Logstash startup completed
www.baidu.com                       #随便输入几个网址
2020-11-18T07:53:59.480Z apache www.baidu.com
www.163.com  
2020-11-18T07:54:12.187Z apache www.163.com
www.aliyun.com     
2020-11-18T07:54:36.980Z apache www.aliyun.com

logstash命令选项解释：
-f：指定logstash的配置文件，根据配置文件配置logstash
-e：后面跟着字符串，该字符串可以被当做logstash的配置（如果是“ ”，则默认使用stdin做输入，stdout为输出）
-t：测试配置文件是否正确，然后退出
#输入采用标准输入，输出采用标准输出

 3.3.5、使用rubydebug显示详细输出，codec为一种编解码器

[root@apache bin]# logstash -e 'input { stdin{} } output { stdout{ codec => rubydebug } }'
Settings: Default filter workers: 1
Logstash startup completed
www.baidu.com
{
       "message" => "www.baidu.com",
      "@version" => "1",
    "@timestamp" => "2020-11-18T08:40:57.598Z",
          "host" => "apache"
}

3.3.6、使用logstash将信息输出给elasticsearch

[root@apache bin]# logstash -e 'input { stdin{} } output { elasticsearch { hosts => ["20.0.0.10:9200"] } }'
Settings: Default filter workers: 1
Logstash startup completed
abc123      #输入内容
tom456
123jerry

3.3.7、打开浏览器输入http://20.0.0.10:9200/_plugin/head/，查看索引信息，显示新的数据信息说明输出到elasticsearch成功

 3.3.8、在apache主机中做对接配置,logstash收集系统日志

logstash配置文件主要由三部分组成：input、output、filter
[root@apache bin]# chmod o+r /var/log/messages   #允许其他用户访问
[root@apache bin]#  ll /var/log/messages
-rw----r--. 1 root root 250721 11月 18 16:40 /var/log/message

[root@apache ~]# vi /etc/logstash/conf.d/system.conf
input {                    #logstash输入：从/var/log/messages输入，类型为system，起始位                     置为从头开始
        file {
          path => "/var/log/messages"
          type => "system"
          start_position => "beginning"
        }
      }

output {                #logstash输出：输出给elasticsearch（以IP地址指定位置）
        elasticsearch {
        hosts => ["20.0.0.10:9200"]
        index => "system-%{+YYY.MM.dd}"
        }
      }

[root@apache ~]# systemctl restart logstash.service

3.3.9、打开浏览器输入http://20.0.0.10:9200/_plugin/dead/，查看索引信息，显示新的索引信息代表logstash搜集到的日志信息成功输出给elasticsearch

3.4、在node1主机安装kibana

3.4.1、在node1主机安装kibana

上传kibana-4.3.1-linux-x64.tar.gz到/root下
[root@node1 ~]# tar zxf kibana-4.3.1-linux-x64.tar.gz 
[root@node1 ~]# mv kibana-4.3.1-linux-x64 kibana
[root@node1 ~]# mv kibana /usr/local/
[root@node1 ~]# cd /usr/local/kibana/
[root@node1 kibana]# vi config/kibana.yml 

//2行 kibana打开的端口
server.port: 5601     

//5行 kibana侦听的地址
server.host: "0.0.0.0"


//12行 和elasticsearch建立联系
elasticsearch.url: "http://20.0.0.10:9200"

//20行 在elasticsearch中添加.kibana索引
kibana.index: ".kibana"

[root@node1 kibana]# yum -y install screen

启动kibana
[root@node1 kibana]# /usr/local/kibana/bin/kibana
  log   [17:53:46.904] [info][status][plugin:kibana] Status changed from uninitialized to green - Ready
  log   [17:53:46.933] [info][status][plugin:elasticsearch] Status changed from uninitialized to yellow - Waiting for Elasticsearch
  log   [17:53:46.944] [info][status][plugin:kbn_vislib_vis_types] Status changed from uninitialized to green - Ready
  log   [17:53:46.951] [info][status][plugin:markdown_vis] Status changed from uninitialized to green - Ready
  log   [17:53:46.955] [info][status][plugin:metric_vis] Status changed from uninitialized to green - Ready
  log   [17:53:46.958] [info][status][plugin:spyModes] Status changed from uninitialized to green - Ready
  log   [17:53:46.966] [info][status][plugin:statusPage] Status changed from uninitialized to green - Ready
  log   [17:53:46.969] [info][status][plugin:table_vis] Status changed from uninitialized to green - Ready
  log   [17:53:46.978] [info][listening] Server running at http://0.0.0.0:5601
  log   [17:53:51.976] [info][status][plugin:elasticsearch] Status changed from yellow to yellow - No existing Kibana index found
  log   [17:53:54.602] [info][status][plugin:elasticsearch] Status changed from yellow to green - Kibana index ready

3.4.2、浏览器中登录20.0.0.10:5601，首次登录提示创建一个索引名字：
填入system-*，即对接系统日志文件名

3.4.3、同时也能看到刚才在kibana.yml中添加的在elasticsearch中添加.kibana索引配置生效了（用于验证kibana和elasticsearch是否成功连接）

3.4.4、添加logstash配置，收集apache服务的访问日志和错误日志中的数据

[root@apache ~]# cd /etc/logstash/conf.d/
[root@apache conf.d]# vi apache_log.conf
input {
        file {
          path => "/etc/httpd/logs/access_log"
          type => "access"
          start_position => "beginning"
        }

        file {
          path => "/etc/httpd/logs/error_log"
          type => "error"
          start_position => "beginning"
        }
   }
output {
        if [type] == "access" {
          elasticsearch {
            hosts => ["20.0.0.10:9200"]
            index => "apache_access-%{+YYY.MM.dd}"
          }
        }
        if [type] == "error" {
          elasticsearch {
            hosts => ["20.0.0.10:9200"]
            index => "apache_error-%{+YYY.MM.dd}"
          }
        }
    }

[root@apache conf.d]# logstash -f apache_log.conf    #指定logstash的配置文件，根据apache_log.conf配置logstash（-f可以不重启加载）

3.4.5、浏览器访问http://20.0.0.10:9200/_plugin/head/，查看apache日志文件的索引是否建立成功

总结

ELK日志分析系统是一款非常强大的日志分析工具，能够帮助运维工程师更快更准确的定位到想要的日志，特别是kibana可视化工具，功能强大，使用起来非常人性化