zoukankan      html  css  js  c++  java
  • Splunk_数据存储机制


    Splunk的索引器通过内部事件化处理机制,将传入的数据转换为事件,然后将其存储在索引内部的数据桶中。

    索引器

    索引器是用于创建和管理索引的组件,是Splunk数据存储的核心。
    索引器的主要功能是:
    1.为传入的数据创建索引。
    2.搜索索引数据。

    事件化处理

    Splunk会对传入的数据进行事件化处理,将原始数据以各种不同的方式进行增强处理后,转换为事件存入索引中。
    具体处理方式包括:
    1.将数据流分为单个可搜索事件。
    2.创建或标识时间戳。
    3.提取字段,如主机、数据来源和来源类型。
    4.对传⼊数据执⾏⽤户定义的操作,如标识⾃定义字段、以掩码显⽰敏感数据、编写新键或修改的键、
    对多⾏事件应⽤换⾏规则、筛选出不需要的事件以及将事件路由到指定索引或服务器。

    索引

    索引器为您的数据创建索引时,会创建许多⽂件:
    1.压缩形式的原始数据(原始数据⽇志)
    2.指向原始数据的索引(tsidx⽂件)
    3.其他⼀些元数据⽂件
    索引中的目录被称为数据桶,数据在进入索引后,会经历 热->温->冷->冻结 数据桶的类型转换过程,
    其中:
    热数据桶:为正在写入信息的数据桶,可以搜索,不能备份。
    温数据桶:从热数据桶滚动来的数据,索引不会主动写入数据,可以搜索,可以备份。
    冷数据桶:从温数据桶滚动来的数据,可以搜索,可以备份。
    冻结数据桶:从冷数据桶滚动来的数据,不能搜索,默认删除,但可以通过修改配置来改为归档,随后通过解冻操作来重新读取其数据。

  • 相关阅读:
    获取字符串的MD5值
    将对象XML序列化为XML文件/反序列化XML文件为对象
    C#通过反射获得对象所有属性和值
    Jquery.Validate使用
    JS删除确认框
    生成验证码
    文件备份方法
    Log日志类
    Ext.NET 基础学习笔记08 (FormPanel)
    Tibco EMS Message trace
  • 原文地址:https://www.cnblogs.com/congxinglong/p/13297167.html
Copyright © 2011-2022 走看看