zoukankan      html  css  js  c++  java
  • Elasticsearch调优篇 03

    【申明】这里启动 elasticsearch 用户名为:elastic

    1、设置启动 elasticsearch 用户所持有的文件句柄数

    vim /etc/security/limits.conf
    # 在文件末尾增加以下内容
    elastic soft memlock unlimited
    elastic hard memlock unlimited
    

    2、修改系统配置文件 /etc/sysctl.conf

    vm.max_map_count = 262144
    vm.swappiness = 1
    net.core.somaxconn = 2048
    # 使用以下命令使得新增加内容生效
    sysctl -p
    

     1. vm.max_map_count = 262144

    Elasticsearch 默认采用 hybrid mmapfs / niofs 目录来保存索引。这个 mmap 就是我们所说的内存映射,应用比较广泛,主要作用就是减少用户态与内核态数据之间的拷贝,具体可参考:redis17- MMAP内存映射 与 零拷贝sendFile。默认的操作系统 mmap 数限制为:65530,这个数值太小了会导致内存溢出的异常。 新版 elasticsearch 在启动的时候要求最少为 262144, 所以需要更新 /etc/sysctl.conf 中的 vm.max_map_count = 262144

     2. vm.swappiness = 1

    Linux系统上可用,确保设置 vm.swappiness = 1(默认是 60)。这减少了内核交换的倾向即尽可能 降低 OS 将 elasticsearch 进程 swap 出去,设置 1 表示当整个系统可用内存只剩 1% 的时候不得不将改进程 swap 出去了,否则 os 就要死了,这就代表着一般情况不会发生这样的事情,但是极坏的情况下仍然允许在紧急条件下置换出去从而保证整个系统的稳定。

     3. net.core.somaxconn = 2048

    net.core.somaxconn 定义了系统中每一个端口最大的监听队列的长度,这是个全局的参数,默认值为 128,限制了接收新 TCP 连接侦听队列的大小。对于一个经常处理新连接的高负载 web 服务环境来说,默认的 128 太小了。大多数环境这个值建议增加到 2048 或者更多。 服务进程会自己限制侦听队列的大小(例如 sendmail(8) 或者 Apache),常常在它们的配置文件中有设置队列大小的选项。大的侦听队列对防止拒绝服务 DoS 攻击也会有所帮助。

    3、更大的堆内存

      你希望更大的堆内存。你可以考虑一台机器上创建两个或者更多 ES 节点,而不要部署一个使用 32+GB 内存的节点。仍然要坚持 50% 原则,假设 你有个机器有 128G 内存,你可以创建两个 node,使用 31G(正常 Linux x64 系统最大最优内存大小也不会是 32GB,一般都是 31 多,所以为了使得性能最优,建议设置为 31GB 堆内存大小) 内存。也就是说 62G 内存给ES的堆内存,剩下的 62G 给Lucene。

     

  • 相关阅读:
    luogu 2478 [SDOI2010]城市规划 仙人掌上dp.
    bzoj 3782 上学路线 卢卡斯定理 容斥 中国剩余定理 dp
    bzoj 3790 神奇项链 回文串 manacher|PAM
    4.4 相交弧 容斥 平衡规划 二维数点
    4.4 省选模拟赛 拉格朗日计数 树状数组+容斥.
    4.4 省选模拟赛 修路 斯坦纳树
    带修改线性基
    CF R 630 div2 1332 F Independent Set
    4.3 省选模拟赛 石子游戏 树上博弈
    机器C盘临时区
  • 原文地址:https://www.cnblogs.com/liang1101/p/13188964.html
Copyright © 2011-2022 走看看