zoukankan      html  css  js  c++  java
  • ELK整合Filebeat监控nginx日志


    ELK 日志分析

    1. 为什么用到 ELK

    一般我们需要进行日志分析场景:直接在日志文件中 grepawk 就可以获得自己想要的信息。
    但在规模较大的场景中,此方法效率低下,面临问题包括日志量太大如何归档、文本搜索太慢怎么办、
    如何多维度查询。需要集中化的日志管理,所有服务器上的日志收集汇总。常见解决思路是建立集中
    式日志收集系统,将所有节点上的日志统一收集,管理,访问。


    一般大型系统是一个分布式部署的架构,不同的服务模块部署在不同的服务器上,问题出现时,
    大部分情况需要根据问题暴露的关键信息,定位到具体的服务器和服务模块,构建一套集中式日志系
    统,可以提高定位问题的效率。


    一个完整的集中式日志系统,需要包含以下几个主要特点:
    收集-能够采集多种来源的日志数据
    传输-能够稳定的把日志数据传输到中央系统
    存储-如何存储日志数据
    分析-可以支持 UI 分析
    警告-能够提供错误报告,监控机制 ELK 提供了一整套解决方案,并且都是开源软件,之间互相配
    合使用,完美衔接,高效的满足了很多场合的应用。目前主流的一种日志系统。

    2.ELK简介

    ELK 是三个开源软件的缩写,分别表示: Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了
    一个 FileBeat,它是一个轻量级的日志收集处理工具(Agent)Filebeat 占用资源少,适合于在各个服务
    器上搜集日志后传输给 Logstash,官方也推荐此工具。
    Elasticsearch 是个开源分布式搜索引擎,提供搜集、分析、存储数据三大功能。它的特点有:分布式,
    零配置,自动发现,索引自动分片,索引副本机制, restful 风格接口,多数据源,自动搜索负载等。
    Logstash 主要是用来日志的搜集、分析、过滤日志的工具,支持大量的数据获取方式。一般工作方式
    c/s 架构, client 端安装在需要收集日志的主机上, server 端负责将收到的各节点日志进行过滤、修
    改等操作在一并发往 elasticsearch 上去。
    Kibana 也是一个开源和免费的工具, Kibana 可以为 Logstash ElasticSearch 提供的日志分析友好
    Web 界面,可以帮助汇总、分析和搜索重要数据日志。
    Filebeat 隶属于 Beats。目前 Beats 包含四种工具:
    Packetbeat(搜集网络流量数据)
    Topbeat(搜集系统、进程和文件系统级别的 CPU 和内存使用情况等数据)
    Filebeat(搜集文件数据)
    Winlogbeat(搜集 Windows 事件日志数据)

    3. 实验部署

    本次部署的是 filebeats(客户端)logstash+elasticsearch+kibana(服务端)组成的架构。
    业务请求到达 nginx-server 机器上的 NginxNginx 响应请求,并在 access.log 文件中增加访问记
    录; FileBeat 搜集新增的日志,通过 LogStash 5044 端口上传日志; LogStash 将日志信息通过本
    机的 9200 端口传入到 ElasticSerach; 搜索日志的用户通过浏览器访问 Kibana,服务器端口是 5601
    Kibana 通过 9200 端口访问 ElasticSerach


    实验环境:
    本次部署的是单点 ELK 用了两台机器(CentOS7)
    ELK 服务端: 192.168.180.113
    Nginx 客户端: 192.168.180.112
    1. 准备工作:
    配置好网络 yum

    # wget http://mirrors.aliyun.com/repo/Centos-7.repo
    # wget http://mirrors.aliyun.com/repo/epel-7.repo
    关闭防火墙: systemctl stop(disable) firewalld
    关闭 SELinux: SELINUX=disabled

    2. 下载并安装软件包:

    # mkdir /elk;cd /elk
    # wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.2.3.tar.gz
    # wget https://artifacts.elastic.co/downloads/logstash/logstash-6.2.3.tar.gz
    # wget https://artifacts.elastic.co/downloads/kibana/kibana-6.2.3-linux-x86_64.tar.gz

    全部解压缩,并复制到/usr/local/目录下
    3. 安装 JDK(java)环境工具:

    # yum -y install java-1.8*

    4. 配置 elasticsearch

    1) 新建 elasticsearch 用户并启动(elasticsearch 普通用户启动)

    # useradd es
    # chown -R elasticsearch.elasticsearch /mnt/elasticsearch-6.2.3/
    [root@topcheer elasticsearch-6.2.3]# su - es
    上一次登录:日 9月 29 22:53:43 CST 2019pts/1 上
    [es@topcheer ~]$ cd /mnt
    [es@topcheer mnt]$ ll
    总用量 4175516
    drwxr-xr-x  9 root root       160 10月  4 20:30 apache-tomcat-7.0.70
    drwxr-xr-x  9 root root       160 11月  4 01:25 apache-tomcat-7.0.70_1
    -rw-r--r--  1 root root   8924465 10月  4 20:30 apache-tomcat-7.0.70.tar.gz
    -rw-r--r--  1 root root       540 9月  21 22:14 Dockerfile
    drwxr-xr-x  9 es   es         155 9月  21 22:58 elasticsearch-6.2.3
    -rw-r--r--  1 root root  29050159 9月  21 22:45 elasticsearch-6.2.3.tar.gz
    -rw-r--r--  1 root root       128 9月  29 21:47 elasticsearch.yml
    -rw-r--r--  1 root root 780598784 9月  29 21:27 es.tar
    -rw-r--r--  1 root root 412774002 5月  30 2018 gitlab-ce-10.8.2-ce.0.el7.x86_64.rpm
    drwxr-xr-x  2 root root       100 11月  4 01:08 harbor
    -rw-r--r--  1 root root 552897681 11月  4 01:07 harbor-offline-installer-v1.8.0.tgz
    -rw-r--r--  1 root root 619113214 11月  4 00:38 harbor-offline-installer-v1.9.1.tgz
    -rw-r--r--  1 root root  78245883 9月  30 14:25 jenkins.war
    drwxrwxr-x 12 wgr  wgr        249 9月  21 23:34 kibana-6.2.3-linux-x86_64
    -rw-r--r--  1 root root  83426328 9月  21 22:45 kibana-6.2.3-linux-x86_64.tar.gz
    -rw-r--r--  1 root root 768809984 9月  29 21:29 kibana.tar
    -rw-r--r--  1 root root  17446309 9月  21 22:12 logstash-0.0.1-SNAPSHOT.jar
    drwxr-xr-x 12 root root       289 9月  22 12:32 logstash-6.2.3
    -rw-r--r--  1 root root 138221072 9月  21 22:45 logstash-6.2.3.tar.gz
    -rw-r--r--  1 root root 677771264 9月  29 21:31 logstash.tar
    drwxrwxr-x  3 root root        48 8月   4 2018 __MACOSX
    drwxr-xr-x 10 root root       171 10月 24 23:34 nacos
    -rw-r--r--  1 root root  44275341 10月 24 23:25 nacos.tar.gz
    drwxr-xr-x  9 es   es         186 10月  4 21:41 nginx-1.12.2
    -rw-r--r--  1 root root    981687 10月  4 20:30 nginx-1.12.2.tar.gz
    drwxr-xr-x  9 1169 1169     12288 10月  4 21:40 pcre-8.37
    -rw-r--r--  1 root root   2041593 10月  4 20:30 pcre-8.37.tar.gz
    drwxr-xr-x 19 root root      4096 11月 19 21:41 Python-3.7.0
    -rw-r--r--  1 root root  26047619 11月 19 21:33 Python-3.7.0.zip
    drwxr-xr-x 11 es   es        4096 10月  6 16:52 zookeeper-3.4.10
    -rw-r--r--  1 root root  35042811 10月  6 15:27 zookeeper-3.4.10.tar.gz
    [es@topcheer mnt]$ cd elasticsearch-6.2.3/
    [es@topcheer elasticsearch-6.2.3]$ ll
    总用量 220
    drwxr-xr-x  2 es es   4096 9月  21 22:49 bin
    drwxr-xr-x  2 es es     75 9月  29 22:48 config
    drwxrwxr-x  3 es es     19 9月  21 22:58 data
    drwxr-xr-x  2 es es   4096 3月  13 2018 lib
    -rw-r--r--  1 es es  11358 3月  13 2018 LICENSE.txt
    drwxr-xr-x  2 es es    268 9月  29 22:44 logs
    drwxr-xr-x 16 es es    289 3月  13 2018 modules
    -rw-r--r--  1 es es 191887 3月  13 2018 NOTICE.txt
    drwxr-xr-x  2 es es      6 3月  13 2018 plugins
    -rw-r--r--  1 es es   9268 3月  13 2018 README.textile
    [es@topcheer elasticsearch-6.2.3]$ ./bin/elasticsearch -d

    2) 查看进程是否启动成功(等待一下)

    [es@topcheer elasticsearch-6.2.3]$ lsof -i:9200
    [es@topcheer elasticsearch-6.2.3]$ netstat -antp
    (Not all processes could be identified, non-owned process info
     will not be shown, you would have to be root to see it all.)
    Active Internet connections (servers and established)
    Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name
    tcp        0      0 0.0.0.0:111             0.0.0.0:*               LISTEN      -
    tcp        0      0 0.0.0.0:6000            0.0.0.0:*               LISTEN      -
    tcp        0      0 192.168.122.1:53        0.0.0.0:*               LISTEN      -
    tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      -
    tcp        0      0 127.0.0.1:631           0.0.0.0:*               LISTEN      -
    tcp        0      0 127.0.0.1:25            0.0.0.0:*               LISTEN      -
    tcp        0      0 127.0.0.1:6010          0.0.0.0:*               LISTEN      -
    tcp        0      0 192.168.180.113:22      192.168.180.1:65135     ESTABLISHED -
    tcp        0      0 192.168.180.113:22      192.168.180.1:65130     ESTABLISHED -
    tcp        0      1 192.168.180.113:44876   192.168.77.129:2377     SYN_SENT    -
    tcp6       0      0 :::2377                 :::*                    LISTEN      -
    tcp6       0      0 :::27017                :::*                    LISTEN      -
    tcp6       0      0 :::8009                 :::*                    LISTEN      -
    tcp6       0      0 :::7946                 :::*                    LISTEN      -
    tcp6       0      0 :::3306                 :::*                    LISTEN      -
    tcp6       0      0 :::6061                 :::*                    LISTEN      -
    tcp6       0      0 :::6062                 :::*                    LISTEN      -
    tcp6       0      0 :::111                  :::*                    LISTEN      -
    tcp6       0      0 :::80                   :::*                    LISTEN      -
    tcp6       0      0 :::8080                 :::*                    LISTEN      -
    tcp6       0      0 :::6000                 :::*                    LISTEN      -
    tcp6       0      0 :::22                   :::*                    LISTEN      -
    tcp6       0      0 ::1:631                 :::*                    LISTEN      -
    tcp6       0      0 :::23                   :::*                    LISTEN      -
    tcp6       0      0 ::1:25                  :::*                    LISTEN      -
    tcp6       0      0 ::1:6010                :::*                    LISTEN      -
    tcp6       0      0 :::8091                 :::*                    LISTEN      -
    tcp6       0      0 127.0.0.1:8005          :::*                    LISTEN      

    3) 若出现错误可以查看日志

    [es@topcheer elasticsearch-6.2.3]$ cd logs/
    [es@topcheer logs]$ ll
    总用量 60
    -rw-rw-r-- 1 es es  2836 9月  22 00:01 elasticsearch-2019-09-21-1.log.gz
    -rw-rw-r-- 1 es es  1470 9月  29 22:44 elasticsearch-2019-09-22-1.log.gz
    -rw-rw-r-- 1 es es  2956 12月  2 10:06 elasticsearch-2019-09-29-1.log.gz
    -rw-rw-r-- 1 es es  1593 9月  22 10:21 elasticsearch_deprecation.log
    -rw-rw-r-- 1 es es     0 9月  21 22:58 elasticsearch_index_indexing_slowlog.log
    -rw-rw-r-- 1 es es     0 9月  21 22:58 elasticsearch_index_search_slowlog.log
    -rw-rw-r-- 1 es es  4214 12月  2 10:06 elasticsearch.log
    -rw-rw-r-- 1 es es 34796 12月  2 10:06 gc.log.0.current
    [es@topcheer logs]$ cat elasticsearch.log
    [2019-12-02T10:06:40,446][INFO ][o.e.n.Node               ] [] initializing ...
    [2019-12-02T10:06:40,891][INFO ][o.e.e.NodeEnvironment    ] [Wq-vR0u] using [1] data paths, mounts [[/ (rootfs)]], net usable_space [3gb], net total_space [26.9gb], types [rootfs]
    [2019-12-02T10:06:40,892][INFO ][o.e.e.NodeEnvironment    ] [Wq-vR0u] heap size [990.7mb], compressed ordinary object pointers [true]
    [2019-12-02T10:06:41,530][INFO ][o.e.n.Node               ] node name [Wq-vR0u] derived from node ID [Wq-vR0uFTRGwj2HQ0-vyqw]; set [node.name] to override
    [2019-12-02T10:06:41,531][INFO ][o.e.n.Node               ] version[6.2.3], pid[33585], build[c59ff00/2018-03-13T10:06:29.741383Z], OS[Linux/3.10.0-957.el7.x86_64/amd64], JVM[Oracle Corporation/Java HotSpot(TM) 64-Bit Server VM/1.8.0_181/25.181-b13]
    [2019-12-02T10:06:41,531][INFO ][o.e.n.Node               ] JVM arguments [-Xms1g, -Xmx1g, -XX:+UseConcMarkSweepGC, -XX:CMSInitiatingOccupancyFraction=75, -XX:+UseCMSInitiatingOccupancyOnly, -XX:+AlwaysPreTouch, -Xss1m, -Djava.awt.headless=true, -Dfile.encoding=UTF-8, -Djna.nosys=true, -XX:-OmitStackTraceInFastThrow, -Dio.netty.noUnsafe=true, -Dio.netty.noKeySetOptimization=true, -Dio.netty.recycler.maxCapacityPerThread=0, -Dlog4j.shutdownHookEnabled=false, -Dlog4j2.disable.jmx=true, -Djava.io.tmpdir=/tmp/elasticsearch.JndCl1Qt, -XX:+HeapDumpOnOutOfMemoryError, -XX:+PrintGCDetails, -XX:+PrintGCDateStamps, -XX:+PrintTenuringDistribution, -XX:+PrintGCApplicationStoppedTime, -Xloggc:logs/gc.log, -XX:+UseGCLogFileRotation, -XX:NumberOfGCLogFiles=32, -XX:GCLogFileSize=64m, -Des.path.home=/mnt/elasticsearch-6.2.3, -Des.path.conf=/mnt/elasticsearch-6.2.3/config]
    [2019-12-02T10:06:43,796][INFO ][o.e.p.PluginsService     ] [Wq-vR0u] loaded module [aggs-matrix-stats]
    [2019-12-02T10:06:43,796][INFO ][o.e.p.PluginsService     ] [Wq-vR0u] loaded module [analysis-common]
    [2019-12-02T10:06:43,796][INFO ][o.e.p.PluginsService     ] [Wq-vR0u] loaded module [ingest-common]
    [2019-12-02T10:06:43,796][INFO ][o.e.p.PluginsService     ] [Wq-vR0u] loaded module [lang-expression]
    [2019-12-02T10:06:43,796][INFO ][o.e.p.PluginsService     ] [Wq-vR0u] loaded module [lang-mustache]
    [2019-12-02T10:06:43,796][INFO ][o.e.p.PluginsService     ] [Wq-vR0u] loaded module [lang-painless]
    [2019-12-02T10:06:43,796][INFO ][o.e.p.PluginsService     ] [Wq-vR0u] loaded module [mapper-extras]
    [2019-12-02T10:06:43,796][INFO ][o.e.p.PluginsService     ] [Wq-vR0u] loaded module [parent-join]
    [2019-12-02T10:06:43,796][INFO ][o.e.p.PluginsService     ] [Wq-vR0u] loaded module [percolator]
    [2019-12-02T10:06:43,797][INFO ][o.e.p.PluginsService     ] [Wq-vR0u] loaded module [rank-eval]
    [2019-12-02T10:06:43,797][INFO ][o.e.p.PluginsService     ] [Wq-vR0u] loaded module [reindex]
    [2019-12-02T10:06:43,797][INFO ][o.e.p.PluginsService     ] [Wq-vR0u] loaded module [repository-url]
    [2019-12-02T10:06:43,797][INFO ][o.e.p.PluginsService     ] [Wq-vR0u] loaded module [transport-netty4]
    [2019-12-02T10:06:43,797][INFO ][o.e.p.PluginsService     ] [Wq-vR0u] loaded module [tribe]
    [2019-12-02T10:06:43,798][INFO ][o.e.p.PluginsService     ] [Wq-vR0u] no plugins loaded
    [2019-12-02T10:06:54,458][INFO ][o.e.d.DiscoveryModule    ] [Wq-vR0u] using discovery type [zen]
    [2019-12-02T10:06:55,374][INFO ][o.e.n.Node               ] initialized
    [2019-12-02T10:06:55,374][INFO ][o.e.n.Node               ] [Wq-vR0u] starting ...
    [2019-12-02T10:06:55,818][INFO ][o.e.t.TransportService   ] [Wq-vR0u] publish_address {172.17.0.1:9300}, bound_addresses {[::]:9300}
    [2019-12-02T10:06:55,852][INFO ][o.e.b.BootstrapChecks    ] [Wq-vR0u] bound or publishing to a non-loopback address, enforcing bootstrap checks
    [2019-12-02T10:06:55,866][ERROR][o.e.b.Bootstrap          ] [Wq-vR0u] node validation exception
    [1] bootstrap checks failed
    [1]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
    [2019-12-02T10:06:55,877][INFO ][o.e.n.Node               ] [Wq-vR0u] stopping ...
    [2019-12-02T10:06:56,163][INFO ][o.e.n.Node               ] [Wq-vR0u] stopped
    [2019-12-02T10:06:56,164][INFO ][o.e.n.Node               ] [Wq-vR0u] closing ...
    [2019-12-02T10:06:56,196][INFO ][o.e.n.Node               ] [Wq-vR0u] closed
    [es@topcheer logs]$

    解决:

    [root@topcheer ~]# sysctl -w vm.max_map_count=262144
    vm.max_map_count = 262144
    [root@topcheer ~]#
    [es@topcheer elasticsearch-6.2.3]$ ./bin/elasticsearch -d
    [es@topcheer elasticsearch-6.2.3]$ lsof -i:9200
    [es@topcheer elasticsearch-6.2.3]$ lsof -i:9200
    COMMAND   PID USER   FD   TYPE   DEVICE SIZE/OFF NODE NAME
    java    36864   es  174u  IPv6 83816708      0t0  TCP *:wap-wsp (LISTEN)
    [es@topcheer elasticsearch-6.2.3]$ netstat -antp
    (Not all processes could be identified, non-owned process info
     will not be shown, you would have to be root to see it all.)
    Active Internet connections (servers and established)
    Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name
    tcp        0      0 0.0.0.0:111             0.0.0.0:*               LISTEN      -
    tcp        0      0 0.0.0.0:6000            0.0.0.0:*               LISTEN      -
    tcp        0      0 192.168.122.1:53        0.0.0.0:*               LISTEN      -
    tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      -
    tcp        0      0 127.0.0.1:631           0.0.0.0:*               LISTEN      -
    tcp        0      0 127.0.0.1:25            0.0.0.0:*               LISTEN      -
    tcp        0      0 127.0.0.1:6010          0.0.0.0:*               LISTEN      -
    tcp        0      0 127.0.0.1:6011          0.0.0.0:*               LISTEN      -
    tcp        0      0 192.168.180.113:22      192.168.180.1:65135     ESTABLISHED -
    tcp        0     36 192.168.180.113:22      192.168.180.1:65130     ESTABLISHED -
    tcp        0      0 192.168.180.113:22      192.168.180.1:49838     ESTABLISHED -
    tcp        0      0 192.168.180.113:22      192.168.180.1:49839     ESTABLISHED -
    tcp        0      1 192.168.180.113:45014   192.168.77.129:2377     SYN_SENT    -
    tcp6       0      0 :::2377                 :::*                    LISTEN      -
    tcp6       0      0 :::27017                :::*                    LISTEN      -
    tcp6       0      0 :::8009                 :::*                    LISTEN      -
    tcp6       0      0 :::7946                 :::*                    LISTEN      -
    tcp6       0      0 :::3306                 :::*                    LISTEN      -
    tcp6       0      0 :::6061                 :::*                    LISTEN      -
    tcp6       0      0 :::6062                 :::*                    LISTEN      -
    tcp6       0      0 :::111                  :::*                    LISTEN      -
    tcp6       0      0 :::9200                 :::*                    LISTEN      36864/java
    tcp6       0      0 :::80                   :::*                    LISTEN      -
    tcp6       0      0 :::8080                 :::*                    LISTEN      -
    tcp6       0      0 :::6000                 :::*                    LISTEN      -
    tcp6       0      0 :::9300                 :::*                    LISTEN      36864/java
    tcp6       0      0 :::22                   :::*                    LISTEN      -
    tcp6       0      0 ::1:631                 :::*                    LISTEN      -
    tcp6       0      0 :::23                   :::*                    LISTEN      -
    tcp6       0      0 ::1:25                  :::*                    LISTEN      -
    tcp6       0      0 ::1:6010                :::*                    LISTEN      -
    tcp6       0      0 ::1:6011                :::*                    LISTEN      -
    tcp6       0      0 :::8091                 :::*                    LISTEN      -
    tcp6       0      0 127.0.0.1:8005          :::*                    LISTEN      -
    tcp6       0      0 ::1:34054               ::1:9300                TIME_WAIT   -
    tcp6       0      0 127.0.0.1:46130         127.0.0.1:9300          TIME_WAIT   -
    [es@topcheer elasticsearch-6.2.3]

    4) 测试是否可以正常访问

    [es@topcheer elasticsearch-6.2.3]$ curl localhost:9200
    {
      "name" : "Wq-vR0u",
      "cluster_name" : "elasticsearch",
      "cluster_uuid" : "PwmRsjs6Q_WrsRzqnZZlxQ",
      "version" : {
        "number" : "6.2.3",
        "build_hash" : "c59ff00",
        "build_date" : "2018-03-13T10:06:29.741383Z",
        "build_snapshot" : false,
        "lucene_version" : "7.2.1",
        "minimum_wire_compatibility_version" : "5.6.0",
        "minimum_index_compatibility_version" : "5.0.0"
      },
      "tagline" : "You Know, for Search"
    }
    [es@topcheer elasticsearch-6.2.3]$

    5. 配置 logstash

    Logstash 收集 nginx 日志之使用 grok 过滤插件解析日志, grok 作为一个 logstash 的过滤插件,支持根
    据模式解析文本日志行,拆成字段。
    1) logstash grok 的正则匹配

    [root@topcheer patterns]# pwd
    /mnt/logstash-6.2.3/vendor/bundle/jruby/2.3.0/gems/logstash-patterns-core-4.1.2/patterns
    [root@topcheer patterns]# vim grok-patterns
    WZ ([^ ]*)
    NGINXACCESS %{IP:remote_ip}--[%{HTTPDATE:timestamp}] "%{WORD:method} %{WZ:request}HTTP/%{NUMBER:httpversion}" %{NUMBER:status} %{NUMBER:bytes} %{QS:referer} %{QS:agent} %{QS:xforward}

    2) 创建 logstash 配置文件

    [root@topcheer logstash-6.2.3]# cat nginx.conf
    input {
       beats {
       port => "5044"
    }
    }
    #数据过滤
    filter {
    grok {
    match => { "message" => "%{NGINXACCESS}" }
    }
    geoip {
    # nginx客户端ip
    source => "192.168.180.112"
    }
    }
    #输出配置为本机的9200端口,这是ElasticSerach服务的监听端口
    output {
    elasticsearch {
    hosts => ["127.0.0.1:9200"]
    }
    }
    [root@topcheer logstash-6.2.3]#


    3) 进入到/usr/local/logstash-6.2.3 目录下,并执行下列命令
    后台启动 logstash

    [root@topcheer logstash-6.2.3]# nohup bin/logstash -f nginx.conf &
    [1] 57261
    [root@topcheer logstash-6.2.3]# nohup: 忽略输入并把输出追加到"nohup.out"
    
    [root@topcheer logstash-6.2.3]# ll

    查看启动日志: tailf nohup.out

    查看端口是否启动:

    [root@topcheer logstash-6.2.3]# netstat -napt|grep 5044
    tcp6       0      0 :::5044                 :::*                    LISTEN      57261/java
    [root@topcheer logstash-6.2.3]#

    6. 配置 kibana
    1) 打开 Kibana 配置文件config/kibana.yml,找到下面这行并修改
    # vim /usr/local/kibana-6.2.3-linux-x86_64/config/kibana.yml
    #server.host: "localhost"
    修改为
    server.host: "192.168.88.100"

    这样其他电脑就能用浏览器访问 Kibana 的服务了;
    2) 进入 Kibana 的目录:
    执行启动命令:

    [root@topcheer kibana-6.2.3-linux-x86_64]#  nohup bin/kibana &
    [3] 61389
    [root@topcheer kibana-6.2.3-linux-x86_64]# nohup: 忽略输入并把输出追加到"nohup.out"
    
    [root@topcheer kibana-6.2.3-linux-x86_64]#

    查看启动日志: tail -f nohup.out

    查看端口是否启动: netstat -napt|grep 5601
    3) 测试:
    在浏览器访问 192.168.88.100:5601

    到此。 ELK 部署完成

    7. Nginx 客户端配置

    1) yum 安装二进制 nginx 软件包# yum -y install nginx

    启动:

    [root@topcheer log]# lsof -i:80
    [root@topcheer log]# systemctl start nginx
    [root@topcheer log]# lsof -i:80
    COMMAND   PID  USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
    nginx   57650  root    6u  IPv4 695998      0t0  TCP *:http (LISTEN)
    nginx   57650  root    7u  IPv6 695999      0t0  TCP *:http (LISTEN)
    nginx   57651 nginx    6u  IPv4 695998      0t0  TCP *:http (LISTEN)
    nginx   57651 nginx    7u  IPv6 695999      0t0  TCP *:http (LISTEN)
    nginx   57652 nginx    6u  IPv4 695998      0t0  TCP *:http (LISTEN)
    nginx   57652 nginx    7u  IPv6 695999      0t0  TCP *:http (LISTEN)

    2) 下载 filebeat 并解压

    3) 切换到/usr/local/filebeat-6.2.3-linux-x86_64 目录下

    [root@topcheer log]# cd /mnt/filebeat-6.2.3-linux-x86_64/
    [root@topcheer filebeat-6.2.3-linux-x86_64]# ll
    总用量 48224
    -rw-r--r--.  1 root root    44384 3月  13 2018 fields.yml
    -rwxr-xr-x.  1 root root 49058867 3月  13 2018 filebeat
    -rw-r-----.  1 root root    52193 3月  13 2018 filebeat.reference.yml
    -rw-------.  1 root root     7275 12月  2 11:10 filebeat.yml
    drwxrwxr-x.  4 wgr  wgr        24 3月  13 2018 kibana
    -rw-r--r--.  1 root root      583 3月  13 2018 LICENSE.txt
    drwxr-xr-x. 14 wgr  wgr       179 3月  13 2018 module
    drwxr-xr-x.  2 root root     4096 3月  13 2018 modules.d
    -rw-r--r--.  1 root root   198236 3月  13 2018 NOTICE.txt
    -rw-r--r--.  1 root root      802 3月  13 2018 README.md
    [root@topcheer filebeat-6.2.3-linux-x86_64]# nohup ./filebeat -e -c filebeat.yml &
    [2] 57668
    [root@topcheer filebeat-6.2.3-linux-x86_64]# nohup: 忽略输入并把输出追加到"nohup.out"
    
    [root@topcheer filebeat-6.2.3-linux-x86_64]# ll
    总用量 48228
    drwxr-x---.  2 root root       39 12月  2 12:25 data
    -rw-r--r--.  1 root root    44384 3月  13 2018 fields.yml
    -rwxr-xr-x.  1 root root 49058867 3月  13 2018 filebeat
    -rw-r-----.  1 root root    52193 3月  13 2018 filebeat.reference.yml
    -rw-------.  1 root root     7275 12月  2 11:10 filebeat.yml
    drwxrwxr-x.  4 wgr  wgr        24 3月  13 2018 kibana
    -rw-r--r--.  1 root root      583 3月  13 2018 LICENSE.txt
    drwxr-xr-x. 14 wgr  wgr       179 3月  13 2018 module
    drwxr-xr-x.  2 root root     4096 3月  13 2018 modules.d
    -rw-------.  1 root root     2093 12月  2 12:25 nohup.out
    -rw-r--r--.  1 root root   198236 3月  13 2018 NOTICE.txt
    -rw-r--r--.  1 root root      802 3月  13 2018 README.md
    [root@topcheer filebeat-6.2.3-linux-x86_64]# tail -200f nohup.out
    2019-12-02T12:25:36.421+0800    INFO    instance/beat.go:468    Home path: [/mnt/filebeat-6.2.3-linux-x86_64] Config path: [/mnt/filebeat-6.2.3-linux-x86_64] Data path: [/mnt/filebeat-6.2.3-linux-x86_64/data] Logs path: [/mnt/filebeat-6.2.3-linux-x86_64/logs]
    2019-12-02T12:25:36.422+0800    INFO    instance/beat.go:475    Beat UUID: 6e3ca243-535f-4f7b-946d-c1172536d8f5
    2019-12-02T12:25:36.422+0800    INFO    instance/beat.go:213    Setup Beat: filebeat; Version: 6.2.3
    2019-12-02T12:25:36.423+0800    INFO    pipeline/module.go:76   Beat name: topcheer
    2019-12-02T12:25:36.425+0800    INFO    [monitoring]    log/log.go:97   Starting metrics logging every 30s
    2019-12-02T12:25:36.426+0800    INFO    instance/beat.go:301    filebeat start running.
    2019-12-02T12:25:36.426+0800    INFO    registrar/registrar.go:71       No registry file found under: /mnt/filebeat-6.2.3-linux-x86_64/data/registry. Creating a new registry file.
    2019-12-02T12:25:36.427+0800    INFO    registrar/registrar.go:108      Loading registrar data from /mnt/filebeat-6.2.3-linux-x86_64/data/registry
    2019-12-02T12:25:36.427+0800    INFO    registrar/registrar.go:119      States Loaded from registrar: 0
    2019-12-02T12:25:36.427+0800    WARN    beater/filebeat.go:261  Filebeat is unable to load the Ingest Node pipelines for the configured modules because the Elasticsearch output is not configured/enabled. If you have already loaded the Ingest Node pipelines or are using Logstash pipelines, you can ignore this warning.

    4) 访问 Kibanahttps://192.168.180.113:5601,点击左上角的 Discover,就可以看到访问日志已经被

     

  • 相关阅读:
    跨平台的好处
    Java生成PDF的另一种方法
    关于如何写小说的文章
    对概念解释得很好的文章列表
    k8s 添加补全脚本
    ingress与ingress-controller
    k8s 暴露服务的几种方式
    DevOps 的生活很有意思但并不容易---《DevOps 实践》读后总结 ----------转载转载转载转载转载转载转载转载转载
    SpringMVC的注解机制:Java中利用反射查找使用指定注解的类---找到指定包下的指定注解类
    Web应用安全威胁与防治--基于OWASP TOP 10 与ESAPI
  • 原文地址:https://www.cnblogs.com/dalianpai/p/11969873.html
Copyright © 2011-2022 走看看