zoukankan      html  css  js  c++  java
  • Elastichsearch实践

    官网文档:https://www.elastic.co/guide/cn/elasticsearch/guide/current/getting-started.html

    es中的索引、类型、文档可以一一和关系型数据库中的概念去对应。

    在本地部署三个es程序,将会自动水平扩容。任何一个节点挂掉,在其他节点都有备份数据保证分片数据的完整性。

    主分片的数目在索引创建时就已经确定了下来。一般我们给一个索引分配5个主分片,一个副本。但当你拥有越多的副本分片时,也将拥有越高的吞吐量(前提是增加机器)。

    REST设置命令

    /index/_settings // 如果对所有索引,用 /_all/_settings
    {"number_of_replicas":1}    // 副本数
    {"refresh_interval": "10s"}    // 刷新时间

    网页加载性能上报,es近实时搜索优化实践:(反复调研测试了一个礼拜才得出的精辟结论)

    node接收端缓存800条数据,统一bulk到es;

    es全局设置{ refresh_interval: 10s },提升内存刷新时间。

    聚合

    按pageId做聚合(注意在terms里面设置size!—— 被坑惨过)

    aggs: {
      mypageId: {
        terms: {
          size: 1000,
          field: 'pageId.keyword'
        }
      }
    }
    {
      "size": 0,
      "aggs": {
        "pageIds": {
          "terms": {
            "size": 100,
            "field": "pageId.keyword"
          }
        }
      }
    }

    查询指纹用户匹配

    http://10.10.19.29:9200/
    
    finger-query-2019.03.17/_search
    
    {"size":1,"aggs":{"users":{"terms":{"size":100,"field":"matched"}}}}

    查询页面聚合

    {
      "size": 100,
      "aggs": {
        "pages": {
          "terms": {
            "size": 100,
            "field": "pageId"
          }
        }
      }
    }

    精确查询

    {
      "query": {
        "bool": {
          "filter": {
            "term": {
              "pageId": "planting_v2_2_1"
            }
          }
        }
      }
    }

    去重

    {
      "query": {
        "match_all": {}
      },
      "collapse": {
        "field": "pageId.keyword"
      }
    }

    按类型统计个数

    {
      "size": 0,
      "aggs": {
        "group_by_RESOURCE_FORMAT": {
          "terms": {
            "field": "iswebp.keyword"
          }
        }
      }
    }
  • 相关阅读:
    行转列
    multipath 安装配置
    网卡绑定
    numa对MySQL多实例性能影响
    Fatal NI connect error 12170
    REVOKE DBA权限要小心
    Oracle 数据库整理表碎片
    listagg 函数
    10046 事件补充
    tkprof 解释
  • 原文地址:https://www.cnblogs.com/woodk/p/9997892.html
Copyright © 2011-2022 走看看