zoukankan      html  css  js  c++  java
  • 搭建ELK 6

    ELK 6.2.4搭建

    https://www.cnblogs.com/harvey2017/p/8922164.html

    开源实时日志分析ELK平台能够完美的解决我们上述的问题,ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。

    官方网站:https://www.elastic.co/products

    Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。

    Logstash是一个完全开源的工具,他可以对你的日志进行收集、过滤,并将其存储供以后使用(如,搜索)。

    Kibana 也是一个开源和免费的工具,它Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助您汇总、分析和搜索重要数据日志。

    ELK下载:https://www.elastic.co/downloads/

    ELK工作原理:

    ElasticSearch
    配置ElasticSearch:

    • View Code
      然后编辑ES的配置文件:

    • View Code
      修改以下配置项:

    • View Code
      其他的选项保持默认,然后启动ES:

    • View Code
      注意:

    1.需要添加用户elk,ES不能以root用户进行启动

    2.可能出现的错误:

    max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536]

    • View Code
      max number of threads [1024] for user [work] likely too low, increase to at least [2048]
    • View Code
      max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144]
    • View Code
      另外再配置ES的时候,threadpool.bulk.queue_size 已经变成了thread_pool.bulk.queue_size ,ES_HEAP_SIZE,ES_MAX_MEM等配置都变为ES_JAVA_OPTS这一配置项,如限制内存最大最小为1G:
    • View Code
      然后可以打开页面http://node1:9200/,将会看到以下内容:(我是通过外部访问虚拟机,因此为了简单没有配置host文件,直接用ip访问)

    Logstash
    配置Logstash:

    • View Code
      编写配置文件(名字和位置可以随意,这里我放在config目录下,取名为log_app.conf):

    • View Code
      其他的选项保持默认,然后启动Logstash:

    • View Code
      日志:

    Kibana
    配置Kibana:

    • View Code
      修改以下几项(由于是单机版的,因此host的值也可以使用localhost来代替,这里仅仅作为演示):

    • View Code
      启动kibana:

    • View Code
      启动后界面:

    然后需要创建index,步骤如下:

    ①点击左边iscover出现以下界面

    ②按照注释配置,然后点击Next step,在第二页 选择@timestamp点击create创建

    ③创建完成之后,可以看到以下一个界面,红框内是 自动生成的域,也可以理解为 跟数据库中的字段类似,其中有一个message字段,就是我们想要的日志信息。

    ④再次点击Discover出现以下界面,可以看到默认搜索的是最后15分钟的日志,可以通过点击设置搜索的时间范围.

    ⑤可以点击右侧域的add设置需要显示的字段

    添加完成之后,日志显示如下:

    参考:https://my.oschina.net/itblog/blog/547250

       https://blog.csdn.net/abcd_d_/article/details/53018927

       https://blog.csdn.net/qq_34021712/article/details/79364592

         https://www.cnblogs.com/yincheng/p/logstash.html
  • 相关阅读:
    hdu 1455 N个短木棒 拼成长度相等的几根长木棒 (DFS)
    hdu 1181 以b开头m结尾的咒语 (DFS)
    hdu 1258 从n个数中找和为t的组合 (DFS)
    hdu 4707 仓鼠 记录深度 (BFS)
    LightOJ 1140 How Many Zeroes? (数位DP)
    HDU 3709 Balanced Number (数位DP)
    HDU 3652 B-number (数位DP)
    HDU 5900 QSC and Master (区间DP)
    HDU 5901 Count primes (模板题)
    CodeForces 712C Memory and De-Evolution (贪心+暴力)
  • 原文地址:https://www.cnblogs.com/Leo_wl/p/8969694.html
Copyright © 2011-2022 走看看