lLucene是apache软件基金会4 jakarta项目组的一个子项目,是一个开发源代码的全文检索引擎工具包。它是一个很强大的搜索库,能轻易的将搜索功能加入到任何程序中。能对文档搜索,文档内信息搜索或相关文档进行搜索等操作,源码由java实现,是一个成熟,卡原的检索工具。
lucene的整体架构如下:
从图中,我们可以看出,主要分为两个大步骤,一个是建立索引的过程,一个是通过关键字查找索引搜索的过程。
索引过程,可以从DB,web,文件系统等来源抓取原始数据,对该数据通过以某种方式,对某些内容,建立索引文档。
搜索过程,通过对用户搜索的关键字,通过分词等构造得到查询关键字的索引,进而从索引库中找到相关内容。
从构建索引和搜索两个过程,来介绍lucene的使用。
首先,得了解使用lucene的几个基本类。
索引过程:
1,indexWirter
indexWriter是写索引的关键组件。这个类负责创建,打开或关闭索引,并想索引中写入内容。不过IndexWrier需要一个空间来储存内容,这个由Directory完成。
2,Directory
directory描述了lucene的储存路径。每个directory对应一个索引库。
3,Analysis
该类是对文档索引之前的操作,文档再索引之前会经过分词器的处理,比如一行“hello world",对空格处理的分词器就将该内容分成两个部分”hello“,”world",大写也有可能会都变成小写。这一些在索引之前的一些操作由分词器来操作。
4,Field
该类是保存一个文档中的的基本单位,也可以理解为一个文档中的一个属性。lucene中有不同的Field类,比如字符串类型,整型等,同时Field还有很多设置选项,比如该Field是否存储,是否被索引,已经存储格式等。是Document中携带信息单元。
5,document
document字面上意思就是一个文档,一个document是索引保存记录的基本单位,索引中保存的位置什么的就是document的位置信息,和db比较,可以理解为一个表中的一行记录。它代表一些域Field的集合。
下面是一个索引过程的基本代码(lucene版本5.4.1)
Analyzer analyzer = new SimpleAnalyzer(); IndexWriterConfig config = new IndexWriterConfig(analyzer); config.setRAMBufferSizeMB(bufferMB); config.setMaxBufferedDocs(bufferSize); String path = "D:\repositoryName"; Directory index = FSDirectory.open(Paths.get(path)); IndexWriter writer = new IndexWriter(index, config); for (int i = 0; i < 100; i++) { Document doc = new Document(); doc.add(newStringField("msid", record.getMsid(), Field.Store.YES)); doc.add(new StringField("city", record.getCity(), Field.Store.YES)); writer.add(doc); } writer.close();
检索过程:
1,Term
Term是搜索功能的基本单元,和构建索引过程的Field类似,不过Field可能会被分词成几个单元。term包含的是搜索的字段名称,以及对应搜索的内容。
2,IndexReader,indexSearcher
indexReader与indexWriter想对应。indexWriter是对索引的写入,而indexReader是对索引的读取。indexSearcher则是在indexReader上构建的一个搜索入口对象。
3,Query
query指的就是查询,query是指的查询的条件,有一个或多个Term构成。同时query有很多子类,分别对应不同类型,不同范围的查询。
4,TopDocs
topDocs是查询结果集,indexSearcher查询条件query得到的结果。包含的是结果document的id。
搜索过程基本代码:
String path ="D:\repositoryName"; Directory index = FSDirectory.open(Paths.get(path)); IndexReader reader = DirectoryReader.open(index); IndexSearcher searcher = new IndexSearcher(reader); Query query = new TermQuery(new Term("msid","ttt")); List<Record> retList = new ArrayList<Record>(); TopScoreDocCollector collector = TopScoreDocCollector.create(maxResultCount); searcher.search(query, collector); ScoreDoc[] hits = collector.topDocs().scoreDocs; for(int i=0;i<hits.length;++i) { int docId = hits[i].doc; Document document = searcher.doc(docId); String msid = document.get("msid"); } reader.close();
以上是lucene的一个最基本的功能构建索引与搜索的简单代码,能快速入手使用。