zoukankan      html  css  js  c++  java
  • 微服务-分布式日志系统Logstash部署

    参考资料:

    1 、 Logstash中文官网

    2、 阿里云Elasticsearch> 最佳实践 > logstash部署

    3、 logstash、elasticsearch、kibana搭建日志平台(CSDN)

    4、ELK(ElasticSearch, Logstash, Kibana)搭建实时日志分析平台 (CSDN)

    4、 elasticsearch5.x安装中一些问题的解决办法

    5、 centos7虚拟机安装elasticsearch5.0.x-安装篇

    一 ELK平台简介

    开源实时日志分析ELK平台能够完美的解决我们上述的问题,ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。

    官方网站:https://www.elastic.co/products

    • Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。

    • Logstash是一个完全开源的工具,他可以对你的日志进行收集、过滤,并将其存储供以后使用(如,搜索)。

    • Kibana 也是一个开源和免费的工具,它Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助您汇总、分析和搜索重要数据日志

    二、 elasticsearch启动过程中遇到的问题:

    1、 直接bin文件夹下执行elasticsearch命令启动时,提示不能用root用户启动(don't run elasticsearch as root),原因.root超级用户不能正常启动

      由于elasticsearch2.0版本以后不能使用root来启动,所以需要创建一个普通用户来启动。
      [root@localhost ~]# useradd XXX(自定义用户名称)
      [root@localhost ~]# passwd XXX
    

      添加完以后还是不行,具体步骤参考如下:

     

    2、 解决上述问题后,又出现以下两个问题

    问题[1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]

    修改 vim /etc/security/limits.conf 文件(注意要切换到root用户修改,在切换为非root用户查看)

    增加如下字段(主要是hard nofile字段要修改到至少65536):

    问题[2]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

    解决:切换到root用户修改配置sysctl.conf vi /etc/sysctl.conf

    添加下面配置: vm.max_map_count=655360

    并执行命令: sysctl -p 然后,重新启动elasticsearch,即可启动成功。

    启动成功后:

     三、 kibana整合elasticsearch配置

    启动前修改以下参数即可:

     

     登录Kibana页面:端口号为配置文件中端口号,默认是5601,此处修改为5602了

  • 相关阅读:
    获取目录下所有文件名
    毕业论文endnote使用
    CoinChange
    sublime3个人配置
    2015-12-31
    2015-12-09
    #define DEBUG用法
    fiddler介绍
    app测试模块
    android SDK_安装配置_使用
  • 原文地址:https://www.cnblogs.com/snowwhite/p/8978095.html
Copyright © 2011-2022 走看看