zoukankan      html  css  js  c++  java
  • ElasticSearch 笔记-基本概念

    年终了,清理一下自己的OneNote,把笔记迁移到博客上来。

    官网:https://www.elastic.co/
    文档:https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html

    简介:

    Elasticsearch是一个高度可扩展的、开源的、基于Lucene的全文搜索和分析引擎。它允许您快速、近乎实时的存储,搜索和分析大量数据,并支持多租户。
    Elasticsearch也使用java开发并使用Lucene作为其核心来实现所有索引和搜索功能,但是它的目的是通过简单的RESTfulAPI来隐藏Lucene的复杂性,从而让全文搜索变得简单。不过Elasticsearch不仅仅是Lucene和全文搜索,我们还可以这样描述:

    • 分布式的实时文件存储,每个字段都被索引并可被搜索;
    • 分布式的实时分析搜索引擎;
    • 可以扩展到上百台服务器,处理PB级结构化或非结构化数据。
      而且,所有的这些功能被集成到一个服务里面,你的应用可以通过简单的RESTful API、各种语言的客户端甚至命令行与之交互。

    搭建

    ……

    可视化WEB界面

    由于Elastisearch的交互方式是Rest形式的,并不直观,我们先安装可视化界面,方便我们操作。可选择的目前主要有elasticsearch-head和kibana。

    基本概念

    一切准备就绪,我们正式操作之前,先来了解一些ES的基本核心概念,通常有集群、节点、分片、副本等概念。Elasticsearch是一个近乎实时的(NRT)搜索平台。这意味着从索引文档到可搜索文档有一点延迟(通常是1秒)。

    集群(Cluster)

    Cluster是一组具有相同cluster.name的节点集合,他们协同工作,共享数据并提供故障转移和扩展功能,当然一个节点也可以组成一个集群。
    集群由唯一名称标识,默认情况下为“elasticsearch”。此名称很重要,因为如果节点设置为按名称加入集群的话,则该节点只能是集群的一部分。确保不同的环境中使用不同的集群名称,否则可能会导致节点加入错误的集群。集群的健康状态通过绿、黄、红来标识:

    • 绿色:集群功能齐全
    • 黄色:所有数据均可用,但尚未分配一些副本
    • 红色:某些数据由于某种原因不可用
      需要检查集群运行状况,可以运行一下命令:GET /_cluster/health

    节点(Node)

    节点,一个运行的ES示例就是一个节点,节点是存储数据并参与集群的索引和搜索功能。就像集群一样节点由名称标识,默认情况下,该名称是在启动时随机分配给节点的唯一标识符(UUID),如果不需要默认值,则可以自定义所需的任何节点名称。此名称对于管理目的非常重要,您可以在其中识别网络中哪些服务器与Elasticsearch集群中的哪些节点相对应。

    索引(Index)

    索引是具有某些类似特征的文档集合,索引由名称标识(必须全部小写),此名称在文档执行索引、搜索、更新和删除操作时使用。

    类型(Type)

    类型,曾经是索引的逻辑类别/分区,允许您在同一索引中存储不同类型的文档,例如:一种类型用于用户,另一种类型用于博客帖子。不过在个概念在6.0.0中被弃用,以后不能在索引中创建多个类型,并且将在更高版本中删除类型整个概念。

    文档(Document)

    文档是可以建立索引的基本单元。例如,您可以为单个客户提供文档、为单个产品提供文档。该文档以JSON标识,Json是一种普遍存在的互联网数据交换格式。在索引/类型中,您可根据需要存储任意数量的文档。请注意,尽管文档实际上驻留在索引中,但实际上必须将文档编入索引或者分配给索引中的类型。

    分片(Shards)

    索引可能存储大量可能超过单个节点的硬件限制的数据。例如,占用1TB磁盘空间的十亿个文档的单个索引可能不适合单个节点的磁盘,或者可能太慢而无法单独从单个节点提供搜索请求。为了解决这个问题,Elasticsearch提供了将索引细分为多个称为分片的功能。创建索引时,只需定义所需的分片数即可。每个分片都是一个功能齐全且独立的“索引”,可以托管在集群中的任何节点上。

    • 它允许您水平拆分/缩放内容
    • 它允许您跨分片分步和并行化操作,从而提高性能/吞吐量
      在可能发生故障的网络/云环境中,分片非常有用,建议使用故障转移机制,以防分片/节点以某种方式脱机或因任何原因消失。为此,Elasticsearch允许您将索引分片制作成一个或多个副本。

    副本(Replicasedit)

    副本,是对分片的赋值。目的是为了当分片/节点发生故障时,提供搞可用性,它允许您扩展搜索量/吞吐量,因为可以在所有副本上并行执行搜索。总而言之,每个索引可以拆分为多个分片。索引也可以复制为零次(表示没有副本)或更多次。复制之后,每个索引将具有主分片(从原始分片复制而来的)和复制分片(主分片的副本)。可以在创建索引时为每个索引定义分片和副本数量。创建索引后,您可以动态的更改副本数。默认情况下,Elasticsearch中的每个索引都分配了5个分片和1个副本,这意味着如果集群中至少有两个节点,则索引将包含5个主分片和5个副本分片(1个完整副本),总计每个索引10个分片。

  • 相关阅读:
    学习笔记4
    学习笔记2
    学习笔记1
    树莓派与Arduino串口通信
    团队大作业第三周周报
    团队大作业第二周周报
    团队大作业第一周周报
    RTCSD_第三次作业
    RTCSD_第二次作业
    RTCSD_第一次作业
  • 原文地址:https://www.cnblogs.com/krockey/p/14377525.html
Copyright © 2011-2022 走看看