zoukankan      html  css  js  c++  java
  • 029 Es面试小节

    1.大纲

      Es是什么?处理哪种业务逻辑用的多?

      Es类比数据库是什么?

      对于数据库的字段、表等,在es中叫什么?

      Es的refresh把数据写到哪里?

      Es的数据如何变成检索和聚合索引的?

      Es的flush操作是干什么的?

    2.Es是什么?处理哪种业务逻辑用的多?

      elasticsearch简写es,es是一个高扩展、开源的全文检索和分析引擎,它可以准实时地快速存储、搜索、分析海量的数据。

      什么是全文检索

      全文检索是指计算机索引程序通过扫描文章中的每一个词,对每一个词建立一个索引,指明该词在文章中出现的次数和位置,当用户查询时,检索程序就根据事先建立的索引进行查找,并将查找的结果反馈给用户的检索方式。这个过程类似于通过字典中的检索字表查字的过程。全文搜索搜索引擎数据库中的数据。

      es的应用场景

    • 一个线上商城系统,用户需要搜索商城上的商品。 
      在这里你可以用es存储所有的商品信息和库存信息,用户只需要输入”空调”就可以搜索到他需要搜索到的商品。
    • 一个运行的系统需要收集日志,用这些日志来分析、挖掘从而获取系统业务未来的趋势。 
      你可以用logstash(elk中的一个产品,elasticsearch/logstash/kibana)收集、转换你的日志,并将他们存储到es中。一旦数据到达es中,就你可以在里面搜索、运行聚合函数等操作来挖掘任何你感兴趣的信息。
    • 如果你有想基于大量数据(数百万甚至数十亿的数据)快速调查、分析并且要将分析结果可视化的需求。 
      你可以用es来存储你的数据,用kibana构建自定义的可视化图形、报表,为业务决策提供科学的数据依据。

      直白点讲,es是一个企业级海量数据的搜索引擎,可以理解为是一个企业级的百度搜索,除了搜索之外,es还可以快速的实现聚合运算。

    3.Es类比数据库是什么?

      

    4.Es的refresh把数据写到哪里?

      refresh实现的是文档从内存移到文件系统缓存的过程。

    5.Es的数据如何变成检索和聚合索引的?

    6.Es的flush操作是干什么的?

       刷到磁盘

    7.整体流程

      
    1. 数据写入buffer缓冲和translog日志文件中。
      当你写一条数据document的时候,一方面写入到mem buffer缓冲中,一方面同时写入到translog日志文件中。
    2. buffer满了或者每隔1秒(可配),refresh将mem buffer中的数据生成index segment文件并写入os cache,此时index segment可被打开以供search查询读取,这样文档就可以被搜索到了(注意,此时文档还没有写到磁盘上);然后清空mem buffer供后续使用。可见,refresh实现的是文档从内存移到文件系统缓存的过程。
    3. 重复上两个步骤,新的segment不断添加到os cache,mem buffer不断被清空,而translog的数据不断增加,随着时间的推移,translog文件会越来越大。
    4. 当translog长度达到一定程度的时候,会触发flush操作,否则默认每隔30分钟也会定时flush,其主要过程:
      4.1. 执行refresh操作将mem buffer中的数据写入到新的segment并写入os cache,然后打开本segment以供search使用,最后再次清空mem buffer。
      4.2. 一个commit point被写入磁盘,这个commit point中标明所有的index segment。
      4.3. filesystem cache(os cache)中缓存的所有的index segment文件被fsync强制刷到磁盘os disk,当index segment被fsync强制刷到磁盘上以后,就会被打开,供查询使用。
      4.4. translog被清空和删除,创建一个新的translog。

    8.知识点

      ES没有用户验证和权限控制

      ES没有事务的概念,不支持回滚,误删不能恢复

         ES免费,完全开源;传统数据库部分免费

      ES采用倒排索引,传统数据库采用B+树索引

      ES分布式搜索,传统数据库遍历式搜索

      ES支持分片和复制,从而方便水平分割和扩展,复制保证了es的高可用与高吞吐。

  • 相关阅读:
    2015/8/28 回校正常学习工作
    Asp.net自定义控件开发任我行(3)-Render
    Asp.net自定义控件开发任我行(2)-TagPrefix标签
    Asp.net自定义控件开发任我行(1)-笑傲江湖
    ET采集阿里妈妈淘宝客商品规则
    淘宝API还能用来采集数据吗?taobao.item.get 接口还能用吗?
    淘宝api升级,无法采集淘宝的数据,taobao.item.get 和taobao.taobaoke.items.get都不能用
    用firefox浏览器访问localhost,apache http server 已停止工作
    淘宝客网站怎么批量采集淘宝商品,方维采集淘宝数据思路
    方维购物分享系统怎么样,方维系统安全性检测
  • 原文地址:https://www.cnblogs.com/juncaoit/p/10527570.html
Copyright © 2011-2022 走看看