zoukankan      html  css  js  c++  java
  • ES数据库系统

    elasticsearch 与 传统数据库的区别与选用

    1:ES

    ElasticSearch是一款分布式全文检索框架,底层基于基于Lucene实现。

    ElasticSearch 使用 JSON 格式存储数据,属于文档存储

    2:遍历方式

    ES有分片的概念,一个大的索引会被分成多个分片来进行存储数据,使用分布式的架构对分片进行并行搜索(基于倒排)

    传统数据的遍历,属于正向全表扫描

    3:ES采用倒排索引,传统数据库采用B+树索引

    倒排索引:

    对文本进行分词处理,记录单词,词频,文本id等信息,搜索时基于内容(根据单词和词频词向量等来计算评分)来找文本id

    B+树索:

    一种树的数据结构,存储时会根据内容生成一个数节点,搜索时时跟据节点id来查找内容

    4:es的注意点

    ES没有事务的概念,不支持回滚,无法恢复删除数据

    5 : 选用

    在面对大数据量简单计算的时候es的效率远高于mysql等传统数据库,但是在定位某一个唯一值(如用会员id找会员)时并不需要es

    在大数据的相似计算与查找或简单计算时,es的分布式并行计算有绝对的优势

    ES(ElasticSearch)是一款分布式全文检索框架,底层基于基于Lucene实现。ES与传统数据的区别主要有:

    1.结构名称不同

    一个ES集群可以包含多个索引(数据库),每个索引又包含了很多类型(表),类型中包含了很多文档(行),每个文档使用 JSON 格式存储数据,包含了很多字段(列)。

    关系型数据库

    数据库

    ElasticSearch

    索引

    类型

    文档

    字段

    2.ES分布式搜索,传统数据库遍历式搜索

    ES支持分片和复制,从而方便水平分割和扩展,复制保证了es的高可用与高吞吐。

    在ES中,当你创建一个索引(数据库)的时候,你可以指定你想要的分片的数量。每个分片本身也是一个功能完善并且独立的索引(数据库),索引可以被放置到集群中的任何节点上。分片优点:

    1.允许你水平分割/扩展你的内容容量

    2.允许你在分片之上进行分布式的、并行的操作,进而提高性能/吞吐量

    3.分片的分布,它的文档怎样聚合回搜索请求,完全由Elasticsearch管理

    3.ES采用倒排索引,传统数据库采用B+树索引

    假设一个文档(用id标识)是有许多的单词(用value标识)组成的,每个单词可能同一个文档中重复出现很多次,也可能出现在不同的文档中。

    正排索引:从文档角度看其中的单词,表示每个文档都含有哪些单词,以及每个单词出现了多少次(词频)及其出现位置(相对于文档首部的偏移量)。

    倒排索引:从单词角度看文档,标识每个单词分别在那些文档中出现(文档ID),以及在各自的文档中每个单词分别出现了多少次(词频)及其出现位置(相对于该文档首部的偏移量)。

    简单理解,

    正排索引:id ---> value

    倒排索引:value ---> id

    ES中为所有字段默认都建了倒排索引。

    4.ES没有用户验证和权限控制

    5.ES没有事务的概念,不支持回滚,误删不能恢复

    6.ES免费,完全开源;传统数据库部分免费

    7.结合工作举例

    例如,要计算出2.38亿会员中有多少80后的已婚的上海男士。

    传统数据库执行时间: 5个小时左右

    ES执行时间:1分钟

  • 相关阅读:
    @字节跳动8年老Android面试官谈;Context都没弄明白凭什么拿高薪?
    @阿里面试官:Android面试这些原理都给我讲明白了,最低都是20k起步!
    @以后面试官再问你三次握手和四次挥手,直接把这一篇文章丢给他
    @备战2020年金三银四,看这一篇面试文章就够了(合适各级Java人员)
    字节跳动面试,第三面挂了,这原因我服了!
    太可惜了,四面字节跳动,我的offer竟被一道“算法题”给拦截了
    @java2019面试题北京
    @2019.07 Android 面试真题集锦
    2018 Java线程热门面试题,你知道多少?
    阿里大厂的148道核心面试题,(程序员必备学习方向)offer收割机 全会月薪50k不难
  • 原文地址:https://www.cnblogs.com/livebetter/p/9323411.html
Copyright © 2011-2022 走看看