ElasticSearch基本概念：节点、集群、分片及副本

分布式系统的可用性与扩展性

• 高可用性
  • 服务可用性 - 允许有节点停止服务
  • 数据可用性 - 部分节点丢失，不会丢失数据
• 可扩展性
  • 请求量提升/ 数据的不断增长(将数据分布到所有节点上)

Elasticsearch的分布式架构

1. 不同的集群通过不同的名字来区分，默认名字"elasticsearch"
2. 通过配置文件修改或者在命令行中-E cluster.name=xxx进行设定
3. 一个集群可以有一个或者多个节点

节点

• 节点算是一个Elasticsearch 的实例
  • 本质上就是一个JAVA进程
  • 一台机器上可以运行多个Elasticsearch 进程，但是生产环境一般建议一台机器上只运行一个Elasticsearch 实例
• 每一个节点都有一个名字，通过配置文件配置，或者启动时候 -E node.name=node1指定
• 每一个节点在启动之后，会分配一个UID，保存在data目录下

Master-eligible nodes 和 Master Node

• 每个节点启动后，默认就是一个Master-eligible 节点
  • 可以设置 node.master:flase 禁止
• Master-eligib 节点可以参加选主流程，成为Master节点
• 当第一个节点启动时候，它会将自己选举成Master节点
• 每个节点上都保存了集群的状态，只有Master 节点才能修改集群的状态信息
  • 集群状态（Cluster State） ,维护了集群中必要信息
    • 所有节点信息
    • 所有的索引和和其相关的Mapping与Setting信息
    • 分片的路由信息
  • 任意节点都能修改信息会导致数据的不一致性

Data Node & Coordinating Node

• Date Node
  • 可以保存数据的节点，叫做Data Node。负责保存分片数据。在数据扩展上起到了至关重要的作用
• Coordinating Node
  • 负责接受Client的请求，将请求分发到合适的节点，最终把结果汇集到一起
  • 每个节点默认都起到了Coordinating Node 的职责

其他的节点类型

• Hot & Warm Node
  • 不同硬件配置的Data Node,用来实现Hot & Warm 架构，降低集群部署的成本
• Machine Learning Node
  • 负责跑机器学习的Job,用来做异常检测

分片（Primary Shard）

• 主分片，用于解决数据的水平扩展问题。通过主分片，可以将数据分布到集群内的所有节点上

  • 一个分片是一个运行的Lucene的实例
  • 主分片数在索引创建时指定，后续不允许修改，除非Reindex

• 副本，用于解决数据的高可用性的问题。副本是主分片的拷贝

  • 副本分片数，可以动态的修改
  • 增加副本数，还可以在一定程度上提高服务的可用性（读取的吞吐）

• 创建index并设置分片API

    PUT /index
    {
        "settings":{
            "number_of_shards" : 3, //指 这个index主分片分布在3个节点上
            "number_of_replicas":1  //指 每一个主分片都有一个副本 
        }
    }

分片的设定

• 对于生成环境中的分片的设定，需要提前做好容量的规划
  • 分片数设置过小
    • 导致后续无法增加节点实现水平扩展
    • 单个分片的数据量太大，导致数据重新分配耗时
• 分片数设置过大，7.0开始，默认主分片设置成1，解决了over-sharding的问题
  • 影响搜索结果的相关性打分，影响统计结果的准确性
  • 单个节点上过多的分片，会导致资源浪费，同时也会影响性能