写一个面试中场景题的总结

字节系统架构二面的面试官问了我一个场景题，当时答的不是很好，于是我厚着脸皮在最后的反问环节问面试官我应该怎么回答。。先看看题目

面试官：我们来假设有这样这个问题，我有十个大文件，每个文件里面存的都是数字， 我要获得这些文件中去重后的所有数字。

我：可以把大文件分成小文件

面试官：为什么要分成小文件？

我：因为文件很大内存处理不了

面试官：那你怎么把大文件分成小文件呢？

我：二分文件？

面试官：怎么分成两个？

我：用指针读出来一半写在另一个文件里？

面试官：那一半文件也很大怎么办

我：那就再分小一些

面试官：这样会有什么问题吗？时间复杂度呢？

我：这样处理的时间会很长

后面又说了分布式处理，但是始终没有回答到点子上

----------------------------------------------------

后面是面试官教学环节

面试官：你还有什么想问的吗？

我：我可不可以问一下我们讨论的那个场景题怎么回答比较好？

面试官：首先，你提到了要把大文件分成小文件，所以为什么要分成小文件呢？是因为内存放不下对吧，那我们怎么知道内存放不放得下呢，你可以先问问我这些大文件到底有多大。如果内存放的下，那我们就卡内存把它统计出来对吧。那后面我们讨论到文件大小是10G，内存已经明确放不下了，这时候才要分成小文件，你有提到划分可以减小一次处理的大小，那怎么提高速度呢，那就需要对文件数据进行排序呀，求两个有序数组的交集是不是更快，我一直问划分的目的是什么就是想听你说要排序呀，那么文件放在磁盘上，我们就可以用分治加归并排序的方法对吧。

我：我考虑的真实太少了　~_~

写题目让写一个memcpy，可是我不知道为啥突然顾虑很多，还想到内存泄漏什么的，总之就是没写出来，函数代码如下：

#include <iostream>

using namespace std;

void memcpy(void* target, void* origin, size_t n){
    if(target == origin) return;
    char* p = (char*)target;
    char* q = (char*)origin;
    if(q + n > p && p > q){
        for(int i = n - 1; i != -1; i--){
            *p++ = *(q + i);
        }
    } else {
        for(int i = 0; i < n; i++){
            *p++ = *q++;
        }
    }
}

int main(){
    int a[4] = {1, 2, 3, 4};
    int b[4] = {5 ,6, 7, 8};
    memcpy(a, b, 16);
    for(int i = 0; i < 4; i++)cout<<a[i]<<" ";
    return 0;
}

最后附上我找到的海量数据解法

处理海量数据问题之六把密匙

分而治之/hash映射 + hash统计 + 堆/快速/归并排序

双层桶排序

Bloom filter/Bitmap

Trie 树/数据库/倒排索引

外排序

分布式处理之Hadoop/Mapreduce

 

密匙一，分而治之/Hash映射 + Hash_map统计 + 堆/快速/归并排序

1. 海量日志数据，提取出某日访问百度次数最多的那个IP。 首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个IP。同样可以采用映射的方法，比如%1000，把整个大文件映射为1000个小文件，再找出每个小文中出现频率最大的IP（可以采用hash_map对那1000个文件中的所有IP进行频率统计，然后依次找出各个文件中频率最大的那个IP）及相应的频率。然后再在这1000个最大的IP中，找出那个频率最大的IP，即为所求。  一致性哈希算法

2. 寻找热门查询，300万个查询字符串中统计最热门的10个查询 虽然有一千万个Query，但是由于重复度比较高，因此事实上只有300万的Query，每个Query255Byte，因此我们可以考虑把他们都放进内存中去（300万个字符串假设没有重复，都是最大长度，那么最多占用内存3M*1K/4=0.75G。所以可以将所有字符串都存放在内存中进行处理），而现在只是需要一个合适的数据结构，在这里，HashTable绝对是我们优先的选择。

   也可以用trie树

3. 有一个1G大小的一个文件，里面每一行是一个词，词的大小不超过16字节，内存限制大小是1M。返回频数最高的100个词。 分而治之/hash映射：顺序读文件中，对于每个词x，取hash(x)%5000，然后按照该值存到5000个小文件（记为x0,x1,...x4999）中。这样每个文件大概是200k左右。如果其中的有的文件超过了1M大小，还可以按照类似的方法继续往下分，直到分解得到的小文件的大小都不超过1M。

   hash_map统计：对每个小文件，采用trie树/hash_map等统计每个文件中出现的词以及相应的频率。 ​ 堆/归并排序：取出出现频率最大的100个词（可以用含100个结点的最小堆）后，再把100个词及相应的频率存入文件，这样又得到了5000个文件。最后就是把这5000个文件进行归并（类似于归并排序）的过程了。

4. 海量数据分布在100台电脑中，想个办法高效统计出这批数据的TOP10。

   遍历一遍所有数据，重新hash取摸，如此使得同一个元素只出现在单独的一台电脑中，然后采用上面所说的方法，统计每台电脑中各个元素的出现次数找出TOP10，继而组合100台电脑上的TOP10，找出最终的TOP10。

   或者，暴力求解：直接统计统计每台电脑中各个元素的出现次数，然后把同一个元素在不同机器中的出现次数相加，最终从所有数据中找出TOP10。

5. 有10个文件，每个文件1G，每个文件的每一行存放的都是用户的query，每个文件的query都可能重复。要求你按照query的频度排序。 hash映射：顺序读取10个文件，按照hash(query)%10的结果将query写入到另外10个文件（记为a0,a1,..a9）中。这样新生成的文件每个的大小大约也1G（假设hash函数是随机的）。 hash_map统计：找一台内存在2G左右的机器，依次对用hash_map(query, query_count)来统计每个query出现的次数。注：hash_map(query,query_count)是用来统计每个query的出现次数，不是存储他们的值，出现一次，则count+1。 堆/快速/归并排序：利用快速/堆/归并排序按照出现次数进行排序，将排序好的query和对应的query_cout输出到文件中，这样得到了10个排好序的文件（记为）。最后，对这10个文件进行归并排序（内排序与外排序相结合）。根据此方案1，这里有一份实现：https://github.com/ooooola/sortquery/blob/master/querysort.py

6. 给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？

可以估计每个文件安的大小为5G×64=320G，远远大于内存限制的4G。所以不可能将 其完全加载到内存中处理。考虑采取分而治之的方法。

通过hash分到1000个文件中，每个文件大小约为300M，a、b对应小文件找相同URL就可以了

7. 怎么在海量数据中找出重复次数最多的一个？

8. 上千万或上亿数据（有重复），统计其中出现次数最多的前N个数据。

9. 一个文本文件，大约有一万行，每行一个词，要求统计出其中最频繁出现的前10个词，请给出思想，给出时间复杂度分析。

10. 1000万字符串，其中有些是重复的，需要把重复的全部去掉，保留没有重复的字符串。请怎么设计和实现？ trie树、hashmap vector + sort + unique

11. 一个文本文件，找出前10个经常出现的词，但这次文件比较长，说是上亿行或十亿行，总之无法一次读入内存，问最优解。

12. 100w个数中找出最大的100个数。

 

密钥二、多层划分

本质上还是分而治之的思想，重在“分”的技巧上

适用范围：第k大，中位数，不重复或重复数字

基本原理及要点：因为元素范围很大，不能利用直接寻址表，所以通过多次划分，逐步确定范围，然后最后在一个可以接受的范围内进行。

 

1. 2.5亿个整数中找出不重复的整数个数，内存空间不足以容纳这2.5亿个整数。 划分区域，用bitmap来查重

2. 5亿个int找中位数 思路一：这个例子比上面那个更明显。首先我们将int划分为2^16个区域，然后读取数据统计落到各个区域里的数的个数，之后我们根据统计结果就可以判断中位数落到那个区域，同时知道这个区域中的第几大数刚好是中位数。然后第二次扫描我们只统计落在这个区域中的那些数就可以了。 实际上，如果不是int是int64，我们可以经过3次这样的划分即可降低到可以接受的程度。即可以先将int64分成2^24个区域，然后确定区域的第几大数，在将该区域分成2^20个子区域，然后确定是子区域的第几大数，然后子区域里的数的个数只有2^20，就可以直接利用direct addr table进行统计了。

   思路二@绿色夹克衫：同样需要做两遍统计，如果数据存在硬盘上，就需要读取2次。方法同基数排序有些像，开一个大小为65536的Int数组，第一遍读取，统计Int32的高16位的情况，也就是0-65535，都算作0,65536 - 131071都算作1。就相当于用该数除以65536。Int32 除以 65536的结果不会超过65536种情况，因此开一个长度为65536的数组计数就可以。每读取一个数，数组中对应的计数+1，考虑有负数的情况，需要将结果加32768后，记录在相应的数组内。 第一遍统计之后，遍历数组，逐个累加统计，看中位数处于哪个区间，比如处于区间k，那么0- k-1的区间里数字的数量sum应该<n/2（2.5亿）。而k+1 - 65535的计数和也<n/2，第二遍统计同上面的方法类似，但这次只统计处于区间k的情况，也就是说(x / 65536) + 32768 = k。统计只统计低16位的情况。并且利用刚才统计的sum，比如sum = 2.49亿，那么现在就是要在低16位里面找100万个数(2.5亿-2.49亿)。这次计数之后，再统计一下，看中位数所处的区间，最后将高位和低位组合一下就是结果了。

密钥三：Bloom filter/Bitmap

Bloom filter

适用范围：可以用来实现数据字典，进行数据的判重，或者集合求交集 　　基本原理及要点：

 

密钥四：Trie树/数据库/倒排索引

Trie树

　　适用范围：数据量大，重复多，但是数据种类小可以放入内存 　　基本原理及要点：实现方式，节点孩子的表示方式 　　扩展：压缩实现。

数据库索引 　　适用范围：大数据量的增删改查 　　基本原理及要点：利用数据的设计实现方法，对海量数据的增删改查进行处理。

倒排索引(Inverted index) 　　适用范围：搜索引擎，关键字查询 　　基本原理及要点：为何叫倒排索引？一种索引方法，被用来存储在全文搜索下某个单词在一个文档或者一组文档中的存储位置的映射。

以英文为例，下面是要被索引的文本： T0 = "it is what it is" T1 = "what is it" T2 = "it is a banana" 我们就能得到下面的反向文件索引： "a": {2} "banana": {2} "is": {0, 1, 2} "it": {0, 1, 2} "what": {0, 1} 检索的条件"what","is"和"it"将对应集合的交集。

杨氏矩阵查找，倒排索引关键词Hash不重复编码实践

基于给定文档生成倒排索引的编码与实践

 

密钥五、外排序

适用范围：大数据的排序，去重 　　基本原理及要点：外排序的归并方法，置换选择败者树原理，最优归并树

 

密钥六、分布式处理之Mapreduce

MapReduce是一种计算模型，简单的说就是将大批量的工作（数据）分解（MAP）执行，然后再将结果合并成最终结果（REDUCE）。这样做的好处是可以在任务被分解后，可以通过大量机器进行并行计算，减少整个操作的时间。但如果你要我再通俗点介绍，那么，说白了，Mapreduce的原理就是一个归并排序。

适用范围：数据量大，但是数据种类小可以放入内存 基本原理及要点：将数据交给不同的机器去处理，数据划分，结果归约。