lucene加权_模仿百度(Baidu)推广

我们在百度上面搜索一些东西的时候，会在最前面出现一些不是我们想要的信息

如：

在百度这里，是做了加权操作的，也就是我们知道的百度推广

那么现在我们就模拟一下百度推广

===================================================================

项目结构：

运行代码：

TermQuery query = new TermQuery(new Term("content","hello"));

运行效果：

也就是说，当我们搜索"hello"关键字的时候，会把所有包含关键字"hello"的结果返回出来，再依据各自的得分大小

进行结果排序，所以就算最后一个包含两个关键字"hello"，但是还是排在后面，权值高的会排在前面。

运行代码：

TermQuery query = new TermQuery(new Term("content","ee"));

运行效果：

当我们搜索包含关键字为"ee"的时候，会出现一条记录，为什么呢？其实很好理解，因为在所有的记录中，包含关键字"ee"的

结果只有一条记录，其他记录虽然权值要比上面的结果大，但是没有包含关键字"ee",所以显示的结果也是理所当然。

声明：如果有不正确的地方，还请大家多多指教，大家可以一起探讨

================================================================

代码部分：

================================================================

/lucene_0300_boost/src/com/b510/lucene/util/LuceneUtil.java

/**
 * 
 */
package com.b510.lucene.util;

import java.io.File;
import java.io.IOException;
import java.util.HashMap;
import java.util.Map;

import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field;
import org.apache.lucene.index.CorruptIndexException;
import org.apache.lucene.index.IndexReader;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.IndexWriterConfig;
import org.apache.lucene.index.Term;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.ScoreDoc;
import org.apache.lucene.search.TermQuery;
import org.apache.lucene.search.TopDocs;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;
import org.apache.lucene.store.LockObtainFailedException;
import org.apache.lucene.util.Version;

/**
 * @author Hongten <br />
 * @date 2013-1-31
 */
public class LuceneUtil {

    /**
     * 邮件id
     */
    private String[] ids = { "1", "2", "3", "4", "5", "6" };
    /**
     * 邮箱
     */
    private String[] emails = { "aa@sina.com", "bb@foxmail.com", "cc@qq.com",
            "dd@163.com", "ee@gmail.com", "ff@sina.com" };
    /**
     * 邮件内容
     */
    private String[] contents = { "hello,aa,hi,hell world!!", 
                                  "hello,bb,i'm a boy", 
                                  "hello,cc",
                                  "hello,dd,welcome to my zone,this is a test hello", 
                                  "hello,ee,haha,xixi,hello world!!", 
                                  "hello,ff" };

    /**
     * 收件人的名称
     */
    private String[] names = { "hongten", "hanyuan", "Devide", "Tom", "Steven",
            "Shala" };

    private Directory directory = null;
    /**
     * 评分
     */
    private Map<String, Float> scores = new HashMap<String, Float>();
    
    public LuceneUtil() {
        try {
            scores.put("sina.com", 1.0f);
            scores.put("foxmail.com", 1.1f);
            directory = FSDirectory.open(new File(
                    "D:/WordPlace/lucene/lucene_0300_boost/lucene/index"));
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

    /**
     * 创建索引
     */
    public void index() {
        IndexWriter writer = null;
        try {
            writer = new IndexWriter(directory, new IndexWriterConfig(
                    Version.LUCENE_35, new StandardAnalyzer(Version.LUCENE_35)));
            //删除之前所建立的全部索引
            writer.deleteAll();
            // 创建文档
            Document document = null;
            for (int i = 0; i < ids.length; i++) {
                // Field.Store.YES:将会存储域值，原始字符串的值会保存在索引，以此可以进行相应的回复操作，对于主键，标题可以是这种方式存储
                // Field.Store.NO:不会存储域值，通常与Index.ANAYLIZED和起来使用，索引一些如文章正文等不需要恢复的文档
                // ==============================
                // Field.Index.ANALYZED:进行分词和索引，适用于标题，内容等
                // Field.Index.NOT_ANALYZED:进行索引，但是不进行分词，如身份证号码，姓名，ID等，适用于精确搜索
                // Field.Index.ANALYZED_NOT_NORMS:进行分词，但是不进行存储norms信息，这个norms中包括了创建索引的时间和权值等信息
                // Field.Index.NOT_ANALYZED_NOT_NORMS:不进行分词也不进行存储norms信息(不推荐)
                // Field.Index.NO:不进行分词
                document = new Document();
                document.add(new Field("id", ids[i], Field.Store.YES,
                        Field.Index.NOT_ANALYZED_NO_NORMS));
                document.add(new Field("email", emails[i], Field.Store.YES,
                        Field.Index.NOT_ANALYZED));
                document.add(new Field("content", contents[i], Field.Store.YES,
                        Field.Index.ANALYZED));
                document.add(new Field("name", names[i], Field.Store.YES,
                        Field.Index.NOT_ANALYZED_NO_NORMS));
                //这里进行加权处理
                String et = emails[i].substring(emails[i].lastIndexOf("@")+1);
                System.out.println(et);
                if(scores.containsKey(et)){
                    document.setBoost(scores.get(et));
                }else{
                    document.setBoost(0.6f);
                }
                writer.addDocument(document);
            }
        } catch (CorruptIndexException e) {
            e.printStackTrace();
        } catch (LockObtainFailedException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            if (writer != null) {
                try {
                    writer.close();
                } catch (CorruptIndexException e) {
                    e.printStackTrace();
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
        }
    }
    
    /**
     * 搜索
     */
    public void search(){
        try {
            IndexReader reader = IndexReader.open(directory);
            IndexSearcher searcher = new IndexSearcher(reader);
            TermQuery query = new TermQuery(new Term("content","hello"));
            TopDocs tds =searcher.search(query, 10);
            for(ScoreDoc sd : tds.scoreDocs){
                Document doc = searcher.doc(sd.doc);
                System.out.println("文档序号：["+sd.doc+"] 得分：["+sd.score+"] 邮件名称：["+doc.get("email")+"] 邮件人：["+doc.get("name")+"] 内容 : ["+doc.get("content")+"]");
            }
        } catch (CorruptIndexException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

/lucene_0300_boost/src/com/b510/lucene/test/IndexTest.java

/**
 * 
 */
package com.b510.lucene.test;

import org.junit.Test;

import com.b510.lucene.util.LuceneUtil;

/**
 * @author Hongten <br />
 * @date 2013-1-31
 */
public class IndexTest {

    @Test
    public void testIndex(){
        LuceneUtil util = new LuceneUtil();
        util.index();
    }
    
    @Test
    public void testSearch(){
        LuceneUtil util = new LuceneUtil();
        util.search();
    }
    
}

I'm Hongten