zoukankan      html  css  js  c++  java
  • Elasticsearch 生产环境亿万级规模分布式集群项目规划+实施

    Elasticsearch 生产环境亿万级规模分布式集群项目规划+实施

    -------------------------------------------------------------------------------------------------------

    测试环境伪集群建设

    192.168.1.1  端口1 主节点1 数据节点1 协调节点1

    192.168.1.1  端口2 主节点2 数据节点2 协调节点2

    192.168.1.1  端口3 主节点3 数据节点3 协调节点3

    -------------------------------------------------------------------------------------------------------

     一般规模集群建设

    192.168.1.1 主节点1 数据节点1 协调节点1

    192.168.1.2 主节点2 数据节点2 协调节点2

    192.168.1.3 主节点3 数据节点3 协调节点3

    192.168.1.4 数据节点4扩展 (水平扩容)

    192.168.1.5 数据节点5扩展 (水平扩容)         

    -------------------------------------------------------------------------------------------------------

    亿万级别规模集群建设                                        

    192.168.1.1  主节点1

    192.168.1.2  主节点2

    192.168.1.3  主节点3

    192.168.1.4  协调节点1

    192.168.1.5  协调节点2

    192.168.1.6  协调节点3

    192.168.1.7  数据节点1

    192.168.1.8  数据节点2

    192.168.1.9  数据节点3

    192.168.1.10  数据节点4扩展 (水平扩容)

    192.168.1.11  数据节点5扩展 (水平扩容)      

    生产环境节点建议:

    1 使用独立主节点,尽量与data分开

    2 数据节点达到3个,主节点至少也要三台

    3 建议服务器内存为64G内存,因为jvm最高使用32G内存,数据节点建议高速硬盘

    4 单数据节点处理数据量5TB内

    5 扩展数据节点2个或者4个的增加

    6 大型集群至少3个协调节点

    生产环境其他建议:

    1 搜索场景下一个分片大小建议不要超过30G索引

    2 整个集群分片数量建议不超过10万个

    3 副本数replicas最低为1

    4 副本越多消耗越大,但也越保险

    服务器配置清单:

    一般规模集群(通过虚拟化分配机器,IO全部打散)

    内存64G、CPU 1C*4核、5台机器支持25T内数据,可扩展11台数据节点到55T,再往上扩展需要使用亿万级集群

  • 相关阅读:
    测试开发进阶之路,2020 我们砥砺同行!
    【上海/北京/杭州】七牛云工程效率部直聘
    测试开发基础|一文搞定计算机网络(一)
    点点点工程师真的要被淘汰吗?
    电商性能测试实战 | JMeter 插件 Ultimate Thread Group 完成梯度递增场景的压测
    将H264与AAC打包Ipad可播放的TS流的总结
    Ubuntu阿里云搭建Mono.net环境
    利用正则表达式排除特定字符串
    你敢不敢不要让我这么忙
    离我而去的附录H
  • 原文地址:https://www.cnblogs.com/daizhengyang/p/14509626.html
Copyright © 2011-2022 走看看