zoukankan      html  css  js  c++  java
  • es集群master节点配置组合

    node.master:

    这个属性表示节点是否具有成为主节点的资格,注意:此属性的值为true,并不意味着这个节点就是主节点。因为真正的主节点,是由多个具有主节点资格的节点进行选举产生的。所以,这个属性只是代表这个节点是不是具有主节点选举资格。

    node.data:

    这个属性表示节点是否存储数据。

    五种组合

    组合1.

    node.master: true 
    node.data: true 
    node.ingest: true

    这种组合表示这个节点既有成为主节点的资格,又可以存储数据,还可以作为预处理节点,这个时候如果某个节点被选举成为了真正的主节点,那么他还要存储数据,这样对于这个节点的压力就比较大了。
      elasticsearch 默认是:每个节点都是这样的配置,在测试环境下这样做没问题。实际工作中建议不要这样设置,这样相当于 主节点 和 数据节点 的角色混合到一块了。

    组合2.

    node.master: false 
    node.data: true 
    node.ingest: false

    这种组合表示这个节点没有成为主节点的资格,也就不参与选举,只会存储数据。这个节点我们称为 data(数据)节点。在集群中需要单独设置几个这样的节点负责存储数据。后期提供存储和查询服务

    组合3.

    node.master: true 
    node.data: false 
    node.ingest: false

    这种组合表示这个节点不会存储数据,有成为主节点的资格,可以参与选举,有可能成为真正的主节点。这个节点我们称为master节点

    组合4.

    node.master: false 
    node.data: false 
    node.ingest: true

    这种组合表示这个节点即不会成为主节点,也不会存储数据,这个节点的意义是作为一个 client(客户端)节点,主要是针对海量请求的时候可以进行负载均衡。在新版 ElasticSearch5.x 之后该节点称之为:coordinate 节点,其中还增加了一个叫:ingest 节点,用于预处理数据(索引和搜索阶段都可以用到),当然,作为一般应用是不需要这个预处理节点做什么额外的预处理过程,那么这个节点和我们称之为 client 节点之间可以看做是等同的,我们在代码中配置访问节点就都可以配置这些 ingest 节点即可。

    组合5.

    node.master: false 
    node.data: false 
    node.ingest: false

    这种配置为纯查询模式,节点只可以接受查询,对于查询数据量比较大的集群,配置这种节点可以有效的保护数据节点,防止datanode内存溢出。这种模式比模式四更节省资源,为纯查询模式!

    总结

    默认情况下,每个节点都有成为主节点的资格,也会存储数据,还会处理客户端的请求。在一个生产集群中我们可以对这些节点的职责进行划分。

    建议集群中设置 3台 以上的节点作为 master 节点【node.master: true node.data: false node.ingest:false】,这些节点只负责成为主节点,维护整个集群的状态。

    再根据数据量设置一批 data节点【node.master: false node.data: true node.ingest:false】,这些节点只负责存储数据,后期提供建立索引和查询索引的服务,这样的话如果用户请求比较频繁,这些节点的压力也会比较大
      
    所以在集群中建议再设置一批 ingest 节点也称之为 client 节点

    node.master: false
    node.data: false
    node.ingest:true

    或者

    node.master: false
    node.data: false
    node.ingest:false

    这些节点只负责处理用户请求,实现请求转发,负载均衡等功能。

    master节点:普通服务器即可(CPU 内存 消耗一般)
    data 节点:主要消耗磁盘,内存
    client | ingest 节点:普通服务器即可(如果要进行分组聚合操作的话,建议这个节点内存也分配多一点)

    集群中如何设置节点角色

    对于3个节点、5个节点甚至更多节点角色的配置,Elasticsearch官网、国内外论坛、博客都没有明确的定义。 

    开发实战中,我的配置如下(仅供参考讨论)

     参考: 
    [1]https://www.elastic.co/guide/en/elasticsearch/reference/current/modules-node.html#data-node 
    (5.x官网) 
    [2] https://www.elastic.co/guide/en/elasticsearch/reference/2.4/modules-node.html 
    (2.x官网) 
    [3] https://discuss.elastic.co/t/master-and-client-node-role-clarifications/104036/2 
    (ES员工回复) 
    [4] https://blog.trifork.com/2017/02/02/elasticsearch-ingest-node/ 
    (ingest节点使用详解) 
    [5] https://wenchao.ren/archives/375 
    (官网原文翻译) 
    [6] http://www.cnblogs.com/liang1101/p/7284205.html 
    (国内的哥们思考过,但我认为不完全对)

  • 相关阅读:
    文件上传-pubsec-文件上传大小限制
    编写 .gitignore 文件
    Git 创建点开头的文件和目录
    Git 克隆远程仓库到本地
    redis 在 windows 中的安装
    查看数据库字符集和排序规则
    centos 6 和centos 7 系统下vnc配置
    centos 6 下KVM 安装学习之旅
    Centos 下使用VLAN+Bridge 搭建KVM基础网络环境
    centos 6 KVM 网卡桥接配置
  • 原文地址:https://www.cnblogs.com/fat-girl-spring/p/14422670.html
Copyright © 2011-2022 走看看