zoukankan      html  css  js  c++  java
  • 【分布式搜索引擎】Elasticsearch如何部署以及优化查询性能

    一、Elasticsearch生产集群如何部署

    (1)es生产集群部署5台机器,若每台机器是6核64G的,那么集群总内存是320G

    (2)假如我们es集群的日增量数据大概是2000万条,每天日增量数据大概是500MB,每月增量数据大概是6亿,15G。若系统已经运行了几个月,那么es集群里数据总量大概是100G左右。

    (3)建有5个索引(这个结合自己业务来,看看自己有哪些数据可以放es的),每个索引的数据量大概是20G,所以这个数据量之内,每个索引可以分配8个shard,比默认的5个shard多了3个shard

    二、Elasticsearch如何优化查询性能

    1)Elasticsearch查询慢的原因

      当我们往es里写的数据时,实际上都写到磁盘文件里去了,磁盘文件里的数据操作系统会自动将里面的数据缓存到os cache中。

      那么当我们的数据量特别大的时候,比如上面的部署场景,5台机器总内存是320G,但是我们存储了3200G的数据,那么最多就十分之一的数据能存入内存。那么大部分查询肯定很慢。

      走磁盘一般肯定上秒,搜索性能绝对是秒级别的,1秒,5秒,10秒。但是如果是走filesystem cache,是走纯内存的,那么一般来说性能比走磁盘要高一个数量级,基本上就是毫秒级的,从几毫秒到几百毫秒不等

    2)如何优化呢?

      es的搜索引擎严重依赖于底层的filesystem cache,你如果给filesystem cache更多的内存,尽量让内存可以容纳所有的indx segment file索引数据文件,那么你搜索的时候就基本都是走内存的,性能会非常高。
      还是拿上面的部署场景举例,5台机器总内存是320G,假如分配给JVM或其他的总内存占100G,那么我们还有220G内存可以用来缓存Elasticsearch查询数据。若我们能够保证往Elasticsearch中存储的数据不超过220G,也就是保证所有数据都能走缓存,那么查询效率肯定很高。
      如果我们的存储数据要超过220G了,怎么办?通过加机器吧。。。

  • 相关阅读:
    0.1+0.2==0.3?
    Tomcat 初探(三)多项目部署
    Tomcat 初探(二) server.xml 配置
    Tomcat 初探(一) 简介
    如何使用 Idea 远程调试 Java 代码
    js-将时间戳转为正常的日期
    VUE-基本的写法
    HTML-列表无缝滚动效果2(显示一个暂停3秒,滚走显示下一个)
    JS-判断用户使用的终端是安卓还是IOS
    JS-在本页面监听是否用户是点击了返回进入的(IOS返回页面时,页面未初始化)
  • 原文地址:https://www.cnblogs.com/756623607-zhang/p/10605075.html
Copyright © 2011-2022 走看看