zoukankan      html  css  js  c++  java
  • es的基础架构的原理

    1、Elasticsearch对复杂分布式机制的透明隐藏特性

    Elasticsearch是一套分布式的系统,分布式是为了应对大数据量
    隐藏了复杂的分布式机制

    分片机制(我们之前随随便便就将一些document插入到es集群中去了,我们有没有care过数据怎么进行分片的,数据到哪个shard中去)

    cluster discovery(集群发现机制,我们之前在做那个集群status从yellow转green的实验里,直接启动了第二个es进程,那个进程作为一个node自动就发现了集群,并且加入了进去,还接受了部分数据,replica shard)

    shard负载均衡(举例,假设现在有3个节点,总共有25个shard要分配到3个节点上去,es会自动进行均匀分配,以保持每个节点的均衡的读写负载请求)

    shard副本,请求路由,集群扩容,shard重分配

    --------------------------------------------------------------------------------------------------------------------

    2、Elasticsearch的垂直扩容与水平扩容

    垂直扩容:采购更强大的服务器,成本非常高昂,而且会有瓶颈,假设世界上最强大的服务器容量就是10T,但是当你的总数据量达到5000T的时候,你要采购多少台最强大的服务器啊

    水平扩容:业界经常采用的方案,采购越来越多的普通服务器,性能比较一般,但是很多普通服务器组织在一起,就能构成强大的计算和存储能力

    普通服务器:1T,1万,100万
    强大服务器:10T,50万,500万

    扩容对应用程序的透明性

    --------------------------------------------------------------------------------------------------------------------

    3、增减或减少节点时的数据rebalance

    保持负载均衡

    --------------------------------------------------------------------------------------------------------------------

    4、master节点

    (1)创建或删除索引
    (2)增加或删除节点

    --------------------------------------------------------------------------------------------------------------------

    5、节点平等的分布式架构

    (1)节点对等,每个节点都能接收所有的请求
    (2)自动请求路由
    (3)响应收集

  • 相关阅读:
    面向接口程序设计思想实践
    Block Chain Learning Notes
    ECMAScript 6.0
    Etcd Learning Notes
    Travis CI Build Continuous Integration
    Markdown Learning Notes
    SPRING MICROSERVICES IN ACTION
    Java Interview Questions Summary
    Node.js Learning Notes
    Apache Thrift Learning Notes
  • 原文地址:https://www.cnblogs.com/siye1989/p/11559111.html
Copyright © 2011-2022 走看看