zoukankan      html  css  js  c++  java
  • Elasticsearch索引自动套用模板

    公司ELK系统目前的设置是每月自动将日志信息记录至新的索引中,将日志数据按月分索引保存,在扩展的ELK架构中,利Logstash对接rabbitmq,获取日志消息,自动持久化至Elasticsearch。而Elasticsearch存在一个关键问题就是索引的设置及字段的属性指定,最常见的问题就是,某个字段我们并不希望ES对其进行分词,但如果使用自动模板创建索引,那么默认是所有string类型的字段都会被分词的,因此必须要显式指定字段的not_analyzed属性,其它的比如控制索引的备份数,分片数等,也可以通过模板的套用来实现,并且模板可以通过通配符进行模糊匹配,即可对满足某一通配符的所有新建索引均套用统一模板,不需要为每个索引都建立模板。但也有一点局限性需要注意:模板在设置生效后,仅对ES集群中新建立的索引生效,而对已存在的索引及时索引名满足模板的匹配规则,也不会生效,因此如果需要改变现有索引的mapping信息,仍需要在正确的mapping基础上建立新的索引,并将数据从原索引拷贝至新索引,变更新索引别名为原索引这种方式来实现(改方法适用当前ES版本(1.7+~2.4+)),也许未来会有索引的直接迁移方案。


    方案选择:

    方案一:可对logstash配置output参数:

    如下所示:

    这种方案在logstash中指定模板文件,由logstash将template写入ES集群;

    方案二:直接将template写入ES集群

    通过ES提供的API,将JSON格式的template写入目标ES集群的_template路径,对新生成的所有符合过滤规则的索引直接套用该模板。


    这里我直接选择了方案二,因为不想修改logstash的docker镜像中的配置文件...

    模板的结构大致分四块吧:

    第一部分:通用设置,主要是模板匹配索引的过滤规则,影响该模板对哪些索引生效;

    第二部分:settings:配置索引的公共参数,比如索引的replicas,以及分片数shards等参数;

    第三部分:mappings:最重要的一部分,在这部分中配置每个type下的每个field的相关属性,比如field类型(string,long,date等等),是否分词,是否在内存中缓存等等属性都在这部分配置;

    第四部分:aliases:索引别名,索引别名可用在索引数据迁移等用途上。

    典型的一个template如下所示:

    {
            "template": "ld.log-*",
            "order":0,
            "settings": {
                "index.number_of_replicas": "1",
                "index.number_of_shards": "5"
            },
            "mappings": {
                "logs": {
                    "properties": {
                        "@timestamp": {
                            "type": "date",
                            "format": "strict_date_optional_time||epoch_millis"
                        },
                        "@version": {
                            "doc_values": true,
                            "index": "not_analyzed",
                            "type": "string"
                        },
                        "Exp": {
                            "doc_values": true,
                            "index": "not_analyzed",
                            "type": "string"
                        },
                        "Guid": {
                            "doc_values": true,
                            "index": "not_analyzed",
                            "type": "string"
                        },
                        "LogLevel": {
                            "type": "long"
                        },
                        "LogTime": {
                            "type": "date",
                            "format": "strict_date_optional_time||epoch_millis"
                        },
                        "LoggerName": {
                            "index": "not_analyzed",
                            "type": "string"
                        },
                        "Message": {
                            "doc_values": true,
                            "index": "not_analyzed",
                            "type": "string"
                        },
                        "ProcessId": {
                            "type": "long"
                        },
                        "StackTrace": {
                            "doc_values": true,
                            "index": "not_analyzed",
                            "type": "string"
                        },
                        "ThreadId": {
                            "type": "long"
                        },
                        "exp": {
                            "doc_values": true,
                            "index": "not_analyzed",
                            "type": "string"
                        },
                        "logLevel": {
                            "type": "long"
                        },
                        "logTime": {
                            "doc_values": true,
                            "index": "not_analyzed",
                            "type": "string"
                        },
                        "loggerName": {
                            "doc_values": true,
                            "index": "not_analyzed",
                            "type": "string"
                        },
                        "message": {
                            "doc_values": true,
                            "index": "not_analyzed",
                            "type": "string"
                        },
                        "processId": {
                            "type": "long"
                        },
                        "tags": {
                            "doc_values": true,
                            "index": "not_analyzed",
                            "type": "string"
                        },
                        "threadId": {
                            "type": "long"
                        }
                    }
                }
            },
            "aliases": {
            }
    }
    View Code

    在这个JSON中可以清楚地看到四个部分,并且对string类型的fields设置了不进行默认分词信息。

    将这个JSON内容作为PUT请求的BODY(如果是修改template则发送POST请求)发送至目标ES集群(需要指定template的名字,如下例的log_template):

    成功后将返回如下信息:

    {
       "acknowledged": true
    }

    现在可以通过对集群_template目录直接发送请求(也可以加上template名称)来查看集群当前的模板信息:


    按照如上步骤,template正常添加至ES集群之后,在新增索引之前,会自动与模板进行匹配,如果满足过滤条件,即可套用目标模板来新建索引。

  • 相关阅读:
    用于 webpack 打包后方便修改的配置文件
    antd 中对树形表格中二级元素进行筛选过滤
    layui快速搭建一个后台管理系统
    centos使用shell定时清空缓存
    内存异常原因查询
    Protocol "‘https" not supported or disabled in libcurl
    HTML table标签实现表头固定
    vue 查询某个对象在对象列表的索引位置
    vue 实现页面监听键盘按键 上下左右
    Vue 实现图片监听鼠标滑轮滚动实现图片缩小放大功能
  • 原文地址:https://www.cnblogs.com/you-you-111/p/6134397.html
Copyright © 2011-2022 走看看