Lucene中分组统计(GroupBy)及去重(Distinct)性能在数量级上提升解决方案 Lucene高性能

在2010年的时候，写过两篇关于LUCENE高性能GROUP BY、DISTINCT的文章，最近在研究LUCENE的过程中发现了一个名为FieldCache的东东，于是乎重新改进Lucene高性能GROUP BY、DISTINCT，发现性能有了数量级别的提升，究竟是因为啥让它有了如此之高的性能提升呢？下面我就来为大家揭开这个谜团！

FieldCache是啥？

我们知道，如果对每一个文档号都用reader 读取域的值会影响速度，所以Lucene 引入了FieldCache 来进行缓存，而FieldCache 并非在存储域中读取，而是在索引域中读取，从而
不必构造Document 对象，然而要求此索引域是不分词的，有且只有一个Token。

讲到这里，我们似乎知道了一些东西，那就是，索引进LUCENE中数据至少会在两个地方有相关的存储，一个就是存储域，一个就是索引域。

即然FieldCache说它是从索引域中读取，速度相对从存储域读取肯定快，为什么不用它呢？

说干就干，经过一番折腾，得到下面的测试结果：

环境：对100W条数据量，取出其中要分组的字段，当然这个字段是不分词索引进去的

第一种方式：从Term区域读取

Dictionary<int, object> dictionary = new Dictionary<int, object>();
            Term startTerm = new Term("CompanyID");
            TermEnum te = indexReader.Terms(startTerm);
            if (te != null)
            {
                Term currTerm = te.Term();

                while ((currTerm != null) && (currTerm.Field() == startTerm.Field())) //term fieldnames are interned
                {
                    //if (te.DocFreq() > 1)
                    //{
                    TermDocs td = indexReader.TermDocs(currTerm);
                    while (td.Next())
                    {
                        dictionary.Add(td.Doc(), currTerm.Text());
                    }
                    //}
                    if (!te.Next())
                    {
                        break;
                    }
                    currTerm = te.Term();
                }
            }

取出100W个CompanyID耗时：共耗时20.9291356秒

第二种方式：从FieldCache中读取

StringIndex stringIndex = FieldCache_Fields.DEFAULT.GetStringIndex(indexReader, "CompanyID");

取出100W个CompanyID耗时：共耗时2.8249935秒

补充：StringIndex有两个属性：lookup、order

string[] lookup：按照字典顺序排列的所有term

int[] order：  其中位置表中文档号，order[i]表示第i个document某个field包含的term在lookup中的位置

获取docid对应的term的值：termValue = lookup[order[doc]]

两者性能一目了然，我也不多说了，快去试试吧！

最后当然也不忘了说一句，如果你的数据量是千万级别或上亿了，那你必须得考虑分布式计算、并行计算这一类的计术了，呵呵。

StringIndex stringIndex = FieldCache_Fields.DEFAULT.GetStringIndex(indexReader, "CompanyID");