zoukankan      html  css  js  c++  java
  • https://blog.51cto.com/favccxx/1827456

    https://blog.51cto.com/favccxx/1827456

     输入插件是Logstash从特定的数据源读取数据,Logstash可用插件包括,详情可见这里,下面说一些常见的输入插件:

      stdin插件:标准的输入插件,能够从命令行中读取事件。

      可选配置:

        add_field    hash(哈希)   {}

        codec         codec             “line”

        tags            array(数组)

        type            string(字符串)

      file插件:Logstash 使用一个名叫 FileWatch 的 Ruby Gem 库来监听文件变化。这个库支持 glob 展开文件路径,而且会记录一个叫 .sincedb 的数据库文件来跟踪被监听的日志文件的当前读取位置。所以,不要担心 logstash 会漏过你的数据。

     sincedb 文件中记录了每个被监听的文件的 inode, major number, minor number 和 pos。

      示例:

    input
        file {
            path => ["/var/log/*.log", "/var/log/message"]
            type => "system"
            start_position => "beginning"
        }
    }
     

      通常你要导入原有数据进 Elasticsearch 的话,你还需要 filter/date 插件来修改默认的"@timestamp" 字段值。

      FileWatch 只支持文件的绝对路径,而且会不自动递归目录。所以有需要的话,请用数组方式都写明具体哪些文件。

     

      LogStash::Inputs::File 只是在进程运行的注册阶段初始化一个 FileWatch 对象。所以它不能支持类似 fluentd 那样的 path => "/path/to/%{+yyyy/MM/dd/hh}.log" 写法。达到相同目的,你只能写成 path => "/path/to/*/*/*/*.log"。

      logstash 每隔多久去检查一次被监听的 path 下是否有新文件。默认值是 15 秒。

      logstash 每隔多久写一次 sincedb 文件,默认是 15 秒。

      logstash 每隔多久检查一次被监听文件状态(是否有更新),默认是 1 秒。

      generator:生成数据组件,用来生成测试数据最好用。

  • 相关阅读:
    【cs231n笔记】assignment1之KNN
    【数据】常用卫星遥感数据下载地址整理
    ArcGIS中重采样栅格像元匹配问题
    python调用HEG工具批量处理MODIS数据
    Google Earth Engine学习资源分享
    地表温度反演的单通道方法辩异
    Android Studio无法下载sdk的问题
    Anaconda常用命令
    AMSR-E/AMSR-2数据介绍与下载
    NASA HEG tool安装心得
  • 原文地址:https://www.cnblogs.com/zhoading/p/13473470.html
Copyright © 2011-2022 走看看