数据的分类
- 结构化数据
具有固定格式、有限⻓度的数据，一般用关系数据库来处理。 - 非结构化数据
全⽂数据，⽆固定格式、不定⻓，比如邮件、word⽂档内容。
非结构化数据的2种处理方式
- 顺序扫描
从前往后依次扫描，效率低下。比如在一篇文章中搜索“java”，会把这篇文章从前往后扫描，标出“java”出现的地方。 - 全文搜索
从⾮结构化数据中提取关键字，组织为索引。对每一个词都建立一个索引，指明该词在非结构化数据（比如一篇文章）中出现的次数和位置。用户搜索时根据事先建立的索引来查找，将查找结果反馈给用户。检索效率很高。
以上也是全文所搜引擎的原理。
全文搜索的特点|优点
- 对非结构化数据的搜索支持好。关系型数据库对结构化数据的支持较差。
- 搜索性能高。在海量数据（GB、TB、PB级别）下，搜索性能极高。面对这种量级的数据，关系型数据库无能为力。
- 搜索灵活。搜索某个关键字，可以给出相关提示|预选项；会自动纠错，比如关键字打成了javb，会返回java的搜索结果。关系数据库的模糊查询其实是精确匹配的，没有这么智能。
- 索引维护容易。如果用关系数据库搞全文索引，insert、update都会重新构建索引，不好维护。
以上也是为什么不使用关系数据库做全文检索的原因。
全文搜索的使用场景
- 存储、检索海量的非结构化文本数据
- 需要使用交互式的⽂本查询，用户输入部分关键字，会有提供相应的预选项。
- 需要⾮常灵活的全⽂搜索，用户输入有误也会自动纠错。
- 对事务安全、写操作、非文本数据操作的需求相对较少。既然是全文搜索，关注的是搜索，注重读，对写操作的支持差一些。
主流的全文搜索引擎
- Lucene
Lucene是⼀个Java写的全⽂搜索引擎。Lucene不是⼀个完整的应⽤程序，只是⼀个代码库、API，⽤于向应⽤程序添加搜索功能。
Lucene很强大，但集成使用很复杂，Solr、ES都是基于Lucene的，对Lucene进行了集成、封装，简化了操作。
- Solr
十分成熟的一款搜索引擎，提供分布式索引、复制、负载均衡查询以及⾃动故障转移和恢复，⾼可靠、高容错、可扩展、实时索引，常用于企业级应用。
Netflix、eBay、Instagram、亚⻢逊都在使⽤Solr。
- ElasticSearch
后起之秀，提供Restful风格的接口，分布式搜索，数据分析、分组、聚合。
维基百科、Stack Overflow、GitHub都在使用ES。
ElasticSearch的使用场景：论坛、电商⽹站、⽇志数据分析等需要站内检索海量纯文本的项目。