zoukankan      html  css  js  c++  java
  • [转]Logstash性能调优

    调优和剖析日志记录的性能

    1、配置参数调优
        可以通过调节以下配置项,对性能进行调优:

    1)、pipeline.workers
      该参数可控制output或filter插件的工作线程数(只能设置正整数),当发现事件正在备份或CPU没有饱和,则可以增加工作线程,以提高性能。一般为CPU线程数

    2)、pipeline.batch.size
      设置批量执行event的最大值,该值是用于input的批量处理事件值,再打包发送给filter和output,增加该值可以在一定范围内提高性能,但是需要增加额外的内存开销。

    3)、pipeline.batch.delay
      批处理的最大等待值(input需要按照batch处理的最大值发送到消息队列,但是不能一直等,所以需要一个最大的超时机制)。

    2、默认管道设置的修改建议
    1)、管道中所有运行中的event都与配置参数:pipeline.workers和pipeline.batch.size有关,而间歇接收大型事件的管道需要足够的内存来处理这些峰值,需要相应的设置LS_HEAP_SIZE值。

    2)、测量每一个参数的变化,以确保它增加而不是减少性能。

    3)、确保logstash额外留足够的内存,以应对突然增加的事件消耗。

    4)、一般pipeline.workers的数量要大于Cpu的核心数,因为output的io等待会消耗大量的空闲时间。

    5)、Java中的线程有名称,您可以使用jstack、top和VisualVM图形工具来确定给定线程使用哪些资源。

    6)、在Linux平台上,logstash用一些描述性的东西来标记所有的线程。例如,输入显示为基础。

    7)、关闭打印,stdout{codec => rubydebug}

    参考链接:https://blog.csdn.net/it_lihongmin/article/details/79728812

    参考链接:https://blog.csdn.net/weixin_43390992/article/details/105232927

    【版权所有@Sevck 博客地址http://www.cnblogs.com/sevck】 可以转载,注明出处.
  • 相关阅读:
    bootstrap
    前端框架 angularjs
    JAva集合框架
    圣诞
    IDEA
    科目三
    Bootstrap简介及Bootstrap里的栅格系统col-md/sm/xs-x;
    C# Windows service 定时发邮件功能 (用到webService)
    <转> 数据库索引的作用和优点缺点
    小知识
  • 原文地址:https://www.cnblogs.com/sevck/p/14889952.html
Copyright © 2011-2022 走看看