lucene 3.6.0学习总结

 目前，主流的全文索引工具有：Lucene , Sphinx , Solr , ElasticSearch。其中Solr和Elastic Search都是基于Lucene的。Sphinx不是 apache的项目，如果你想把Sphinx放到某个商业性的项目中，你就得买个商业许可证。(其实我只学习了lucence,solr 只是了解,这两天项目需要,研究学习了下.此文为个人学习备忘之用)

第一章 LUCENE基础

在全文索引工具中，都是由这样的三部分组成：索引部分、分词部分和搜索部分

　　IndexWriter：用来创建索引并添加文档到索引中。

       Directory：这个类代表了索引的存储的位置，是一个抽象类。

       Analyzer：对文档内容进行分词处理，把分词后的内容交给 IndexWriter来建立索引。

       Document：由多个Field组成，相当于数据库中的一条记录。

       Field：相当于数据库中的一条记录中的一个字段。

 

分词部分的核心类

 

 

       Analyzer：简单分词器（SimpleAnalyzer）、停用词分词器（StopAnalyzer）、空格分词器（WhitespaceAnalyzer）、标准分词器（StandardAnalyzer）。

 

       TokenStream：可以通过这个类有效的获取到分词单元信息。

 

       Tokenizer：主要负责接收字符流Reader,将Reader进行分词操作。

 

       TokenFilter：将分词的语汇单元，进行各种各样过滤。

 

 

搜索部分的核心类

       IndexSearcher：用来在建立好的索引上进行搜索。

       Term：是搜索的基本单位。

       Query：把用户输入的查询字符串封装成Lucene能够识别的Query。

       TermQuery：是抽象类Query的一个子类，它的构造函数只接受一个参数，那就是一个Term对象

       TopDocs：保存返回的搜索结果。

       SocreDoc：保存具体的Document对象。

第二章 索引建立

索引的建立是将现实世界中所有的结构化和非结构化数据提取信息，创建索引的过程。如下图：

示例子:

package text;

import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStreamReader;
import java.util.Date;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field;
import org.apache.lucene.document.NumericField;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.IndexWriterConfig;
import org.apache.lucene.index.IndexWriterConfig.OpenMode;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;
import org.apache.lucene.util.Version;
public class TestFileIndexer {
	public   static   void  main(String[] args)  throws  Exception  {             
        /*  指明要索引文件夹的位置,这里是C盘的source文件夹下  */          
        File fileDir  =   new  File( "c:\source " );    
        /*  这里放索引文件的位置  */         
        File indexDir  =   new  File( "c:\index" );            
        Directory dir=FSDirectory.open(indexDir);//将索引存放在磁盘上  
        Analyzer lucenAnalyzer=new StandardAnalyzer(Version.LUCENE_36);//分析器  
        IndexWriterConfig iwc=new IndexWriterConfig(Version.LUCENE_36,lucenAnalyzer);  
        iwc.setOpenMode(OpenMode.CREATE);//创建新的索引文件create 表示创建或追加到已有索引库  
        IndexWriter indexWriter=new IndexWriter(dir,iwc);//把文档写入到索引库  
        File[] textFiles=fileDir.listFiles();//得到索引文件夹下所有文件  
        long startTime=new Date().getTime();  
        //增加document到检索去  
        for (int i = 0; i < textFiles.length; i++) {  
//          if (textFiles[i].isFile()&& textFiles[i].getName().endsWith(".txt")) {  
                System.out.println(":;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;");  
                System.out.println("File"+textFiles[i].getCanonicalPath()+"正在被索引...");  
                String temp=FileReaderAll(textFiles[i].getCanonicalPath(),"GBK");  
                System.out.println(temp);  
                Document document=new Document();  
                Field FieldPath=new Field("path",textFiles[i].getPath(),Field.Store.YES,Field.Index.NO);  
                Field FieldBody=new Field("body",temp,Field.Store.YES,Field.Index.ANALYZED,Field.TermVector.WITH_POSITIONS_OFFSETS);  
                NumericField modifiField=new NumericField("modified");//所以key为modified  
                modifiField.setLongValue(fileDir.lastModified());  
                document.add(FieldPath);  
                document.add(FieldBody);  
                document.add(modifiField);  
                indexWriter.addDocument(document);  
                  
//          }  
        }  
        indexWriter.close();  
        //计算一下索引的时间  
        long endTime=new Date().getTime();  
        System.out.println("花了"+(endTime-startTime)+"毫秒把文档添加到索引里面去"+fileDir.getPath());  
    }  
    public static String FileReaderAll(String FileName,String charset)throws IOException{  
        BufferedReader reader=new BufferedReader(new InputStreamReader(new FileInputStream(FileName),charset));  
        String line=new String();  
        String temp=new String();  
        while ((line=reader.readLine())!=null) {  
            temp+=line;  
        }  
        reader.close();  
        return temp;  
    }     

　　　  Field.Store.YES：存储。该值可以被恢复（还原）。

            NO：不存储。该值不可以被恢复，但可以被索引。

            Field.Index.ANALYZED：分词。

            NOT_ANALYZED：不分词。

            NOT_ANALYZED_NO_NORMS：不分词也不加权（即不存储NORMS信息）。

查询索引的基本信息

package text;


import java.io.File;  
import java.io.IOException;  
  
  
  
import org.apache.lucene.analysis.Analyzer;  
import org.apache.lucene.analysis.standard.StandardAnalyzer;  
import org.apache.lucene.document.Document;  
import org.apache.lucene.index.IndexReader;  
import org.apache.lucene.queryParser.ParseException;  
import org.apache.lucene.queryParser.QueryParser;  
import org.apache.lucene.search.IndexSearcher;  
import org.apache.lucene.search.Query;  
import org.apache.lucene.search.ScoreDoc;  
import org.apache.lucene.search.TopDocs;  
import org.apache.lucene.store.FSDirectory;  
import org.apache.lucene.util.Version; 

public class TestQuery {
	public static void main(String[] args) throws ParseException, IOException {  
        String index="c:\index";//搜索的索引路径  
        IndexReader reader=IndexReader.open(FSDirectory.open(new File(index)));  
        IndexSearcher searcher=new IndexSearcher(reader);//检索工具  
        ScoreDoc[] hits=null;  
        String queryString="测试";  //搜索的索引名称  
        Query query=null;  
        Analyzer analyzer=new StandardAnalyzer(Version.LUCENE_36);  
        try {  
            QueryParser qp=new QueryParser(Version.LUCENE_36,"body",analyzer);//用于解析用户输入的工具  
            query=qp.parse(queryString);  
        } catch (Exception e) {  
            // TODO: handle exception  
        }  
        if (searcher!=null) {  
            TopDocs results=searcher.search(query, 10);//只取排名前十的搜索结果  
            hits=results.scoreDocs;  
            Document document=null;  
           for (int i = 0; i < hits.length; i++) {  
                document=searcher.doc(hits[i].doc);  
                String body=document.get("body");  
                String path=document.get("path");  
                String modifiedtime=document.get("modifiField");  
                System.out.println(body+"        ");   
                System.out.println(path);   
            }  
            if (hits.length>0) {  
                System.out.println("找到"+hits.length+"条结果");  
                  
            }  
            searcher.close();  
            reader.close();  
        }  
          
  
    }  
}

索引文件作用

     索引建立成功后，会自动在磁盘上生成一些不同后缀的文件（如下图），这些文件缺一不可，这里简单的介绍下不同后缀名的文件都有些什么作用：

       

     .fdt :  保存域的值（即Store.YES属性的文件）。

     .fdx :  与.fdt的作用相同。

     .fnm :保存了此段包含了多少个域，每个域的名称及索引方式。

     .frq :  保存倒排表。数据出现次数（哪篇文章哪个词出现了多少次）。

     .nrm : 保存评分和排序信息。

     .prx :  偏移量信息。倒排表中每个词在包含此词的文档中的位置。

     .tii :   保存了词典(Term Dictionary)。也即此段包含的所有的词按字   典顺序的排序。

     .tis :   同上。存储索引信息。

     备注：

          ①如上图，具有相同前缀文件的属同一个段，图中共两个段 "_0"和 "_1"。

          ②一个索引可以包含多个段，段与段之间是独立的，添加新文档可以生成新的段，不同的段可以合并。

          ③这些索引文件可以使用使用lukeall-3.5.0.jar打开，具体使用方法在后面的章节进行详述

   　　　　   Analyzer analyzer=new StandardAnalyzer(Version.LUCENE_36); 

    　　　　QueryParser qp=new QueryParser(Version.LUCENE_36,"body",analyzer);//用于解析用户输入的工具  
          　　 Query     query=qp.parse(queryString); 

   

根据Query获取TopDocs

     TopDocs tds = searcher.search(query, 10); //返回10条数据

根据TopDocs获取ScoreDoc

  ScoreDoc[] hits=null; 

 hits=results.scoreDocs; 

 Document document=null;  
           for (int i = 0; i < hits.length; i++) {  
                document=searcher.doc(hits[i].doc);  
                String body=document.get("body");  
                String path=document.get("path");  
                String modifiedtime=document.get("modifiField");  
                System.out.println(body+"        ");   
                System.out.println(path);   
            }