zoukankan      html  css  js  c++  java
  • Elasticsearch 生产环境亿万级规模分布式集群项目规划+实施

    Elasticsearch 生产环境亿万级规模分布式集群项目规划+实施

    -------------------------------------------------------------------------------------------------------

    测试环境伪集群建设

    192.168.1.1  端口1 主节点1 数据节点1 协调节点1

    192.168.1.1  端口2 主节点2 数据节点2 协调节点2

    192.168.1.1  端口3 主节点3 数据节点3 协调节点3

    -------------------------------------------------------------------------------------------------------

     一般规模集群建设

    192.168.1.1 主节点1 数据节点1 协调节点1

    192.168.1.2 主节点2 数据节点2 协调节点2

    192.168.1.3 主节点3 数据节点3 协调节点3

    192.168.1.4 数据节点4扩展 (水平扩容)

    192.168.1.5 数据节点5扩展 (水平扩容)         

    -------------------------------------------------------------------------------------------------------

    亿万级别规模集群建设                                        

    192.168.1.1  主节点1

    192.168.1.2  主节点2

    192.168.1.3  主节点3

    192.168.1.4  协调节点1

    192.168.1.5  协调节点2

    192.168.1.6  协调节点3

    192.168.1.7  数据节点1

    192.168.1.8  数据节点2

    192.168.1.9  数据节点3

    192.168.1.10  数据节点4扩展 (水平扩容)

    192.168.1.11  数据节点5扩展 (水平扩容)      

    生产环境节点建议:

    1 使用独立主节点,尽量与data分开

    2 数据节点达到3个,主节点至少也要三台

    3 建议服务器内存为64G内存,因为jvm最高使用32G内存,数据节点建议高速硬盘

    4 单数据节点处理数据量5TB内

    5 扩展数据节点2个或者4个的增加

    6 大型集群至少3个协调节点

    生产环境其他建议:

    1 搜索场景下一个分片大小建议不要超过30G索引

    2 整个集群分片数量建议不超过10万个

    3 副本数replicas最低为1

    4 副本越多消耗越大,但也越保险

    服务器配置清单:

    一般规模集群(通过虚拟化分配机器,IO全部打散)

    内存64G、CPU 1C*4核、5台机器支持25T内数据,可扩展11台数据节点到55T,再往上扩展需要使用亿万级集群

  • 相关阅读:
    SD卡测试
    测试人员可能会遇到的问题
    HDU 1024 Max Sum Plus Plus
    HDU 1176 免费馅饼
    HDU 1257 最少拦截系统
    HDU 1087 Super Jumping! Jumping! Jumping!
    poj 1328 Radar Installation
    poj 1753 Flip Game
    HDU 1003 Max Sum
    HDU 5592 ZYB's Premutation(BestCoder Round #65 C)
  • 原文地址:https://www.cnblogs.com/daizhengyang/p/14509626.html
Copyright © 2011-2022 走看看