本文简要总结了一下海量数据处理的常见方法和思路。总结的比较粗糙，主要作为知识提纲使用。请各位高手不吝赐教。
另外，最近在BAE上学习用 WordPress 搭建了独立博客，欢迎大家有空去转转！本博客文章将同步更新。
博客地址：http://panwenhai.duapp.com/
1、海量数据处理总体思路：分配任务、单独解决、合并结果
- 分配任务：
- 分而治之Hash
- 桶划分思想
- 单独解决：
- 统计各个元素出现的次数：Hash Map，N-Bit Map，Trie-Tree，倒排索引
- 找寻最大（小）的N个元素：堆结构，快排思想，局部淘汰法
- 查找给定元素是否存在在其中：Hash Map，1-Bit Map，Bloom Filter，高位比较
- 寻找中位数：桶划分思想
- 搜索引擎，查找关键字：倒排索引
- 合并结果：
- 1、归并排序思想合并
- 2、桶划分思想合并
2、分而治之+Hash
- 通过Hash取模的方法（ Hash(ip)%1024 ），将大量数据分成一个一个的小文件，再进行处理（内排序）。
- Hash取模的方法，使得相同的元素，会被分配到相同的文件中，对于单独文件操作，就可以得到对应元素的结果。
- 处理之后，采用归并的方法，对于小文件的结果进行合并，从而得到最终结果（外排序）。
- 当数据量较大，而又必须进行彻底的处理时，可以采用这种思想
3、Hash Map
- 通过一次扫描，可以建立Key与Value对的hash表，来统计某个元素出现的次数。
4、N-Bit Map 位图方法
- 与 Hash Map 相似，只是Key通常为元素值进行直接索引，value值为bit串，用来记录某个元素的状态。
- N的大小控制bit串长度，用来控制状态的总数。（如：N=2时，00表示不存在，01表示出现一次，10表示出现多次，11无意义）
- Bit Map 本身的长度，表示可记录元素的个数
- 当N = 1，采用元素值作为地址直接索引时，可以表示40亿个不重复的unsigned int值是否存在。
5、Bloom Filter
- 有一定错误概率，但相比于单纯的bit_set节省空间。
- bit_set + k个独立hash函数：将hash函数的结果作为索引值，将对应位置1。查找元素时，如果发现K个hash函数所得到的位置都是1，则认为对应元素存在。
- 输入元素个数n，确定位数组m的大小及hash函数个数
- m应该>=nlg(1/E)*lge
- k=(ln2)*(m/n)
- Bloom Filter：元素 映射为 位数组
- Counting Bloom Filter：在Bloom filter 中的位扩展为 counter，支持删除操作。
- Spectral Bloom Filter：将元素与出现次数关联。
6、堆结构
- 通过堆的特性，找寻出现最多（少）的前N个元素。
- 需要先统计出各个元素出现的次数（可以用Hash Map），这一步只是找前N个。
- 找最多，用小顶堆，找最大，用大顶堆（先比较堆顶元素，如果不满足要求，则直接轮询下一个，如果符合要求，插入堆中）
- 时间复杂度O(X log Y)，X为所有元素的个数，Y为堆中元素的个数
- 扩展：双堆，一个大顶堆和一个小顶堆，可以用来维护中位数。大顶堆存储较小的一半数字，小顶堆存储较大的一半数字。每次插入元素后，适当移动根节点保持两个堆数字相等或相差1.
7、Trie 树
- 前缀树，统计各个单词出线的次数。
- 每个节点都是一个字母，前缀相同的，就不新建节点了。节点的内容是这个单词出现的次数。
- 时间复杂度： O(n*le)（le表示单词的平准长度）
8、快排思想找前N个元素
- 利用快速排序思想，每次分割时，仅考虑满足要求的一些，当接近N时，采用普通排序算法排序。
- 从所有数据中，选取前N个元素，排序。然后扫描剩余元素，与排好序的最后一个元素相比，如果比它小（大），则删除最后一个元素，利用插入排序法的思想插入序列中。
- 时间复杂度：O(100w*100)
10、MapReduce思想
- 在用分而治之hash分配任务后，并不一个一个文件进行处理，而是采用分布式的方法，同时处理多个文件，在处理之后，再进行合并。
11、桶划分
- 本质上是分而治之，重在“分”的技巧
- 划分元素的取值范围，将落在一个范围内的元素分成一组
- 单独处理每一组的元素，最终合并结果
- 如：找中位数，将int划分成2^16个区域，统计在各个区域内的数字个数，就可以判断出在哪个区域的第几个元素就是中位数。然后对那个区域内的元素排序即可获得
12、高位比较
- 从很多数中，查找某一个数字是否出现过。
- 由最高位开始比较，0,1二分，之后依次类推。近似于折半查找。O(logn)
13、倒排索引
- 单词作为索引，单词出现的位置所组成的集合做为内容。
- 搜索引擎，关键字查询，查找那些文件包含了对应关键字。
谢谢您阅读本文！作者独立博客地址：http://panwenhai.duapp.com/，欢迎大家有空去转转！