学习Trie树，处理“海量”数据

目前我所了解的海量数据处理的方法包括：哈希，树，归并排序，bitmap等，之前发过测试哈希表的随笔，这一篇则是针对第二种方法：树。

我写了一个Trie树的简单实现，以摘自某网站上的超过100万条的URL为测试数据，算是个小型的海量数据了，检索其中一条记录所消耗的时间为0毫秒，实际是在1毫秒之内，也就是很快的意思。

清空这个树需要DFS或者BFS，我暂时没有实现它，也就是说，下面的代码，没有主动完成释放内存空间的功能。

欢迎有共同学习兴趣的同学和我沟通哦 ^_^

上代码：

#include <stdlib.h>
#include <string>
#include <fstream>
#include <sys/timeb.h>
/**
* @author:zanzan101
*/

using namespace std;

typedef struct Node
{

    // 有三种以上的实现方式，包括静态数据，链表，左孩子右兄弟，双数组等等
    // 静态数据省时，费空间
    // 链表节省空间，但费时
    // 左孩子右兄弟，费时
    // 双数组实现麻烦
    
    // 这里是用的最简单的静态数组的方法
    struct Node* child[256];
    int value;
    Node():value(0)
    {
        memset(child, 0, 256*sizeof(void*));
    };
    Node(int v):value(v)
    {
        memset(child, 0, 256*sizeof(void*));
    };
}* TrieTree;

void insert_data(TrieTree tree, const char* str)
{
    if(!tree)
        return;
    int len = strlen(str);
    int idx = 0;
    Node* p = tree;
    while(idx < len-1)
    {
        if(p->child[str[idx]])
        {
            p = p->child[str[idx]];
        }else
        {
            p->child[str[idx]] = new Node();
            p = p->child[str[idx]];
        }
        idx ++;
    }
    if(p->child[str[idx]])
        p->child[str[idx]]->value += 1;
    else
        p->child[str[idx]] = new Node(1);
}

int find_data(TrieTree tree, const char* str)
{
    if(!tree)
        return 0;
    int len = strlen(str);
    int idx = 0;
    Node* p = tree;
    while(idx < len)
    {
        if(p->child[str[idx]])
        {
            p = p->child[str[idx]];
        }else
        {
            printf("没有：%s
", str);
            return 0;
        }
        idx ++;
    }
    if(p->value)
        printf("找到：%s
", str);
    else
        printf("没有：%s
", str);
    return p->value;
}

void delete_data(TrieTree tree, const char* str)
{

    if(!tree)
        return;
    int len = strlen(str);
    int idx = 0;
    Node* p = tree;
    while(idx < len)
    {
        if(p->child[str[idx]])
        {
            p = p->child[str[idx]];
        }else
            return;
        idx ++;
    }
    if(p->value)
        p->value = 0;        // 其实这里可以直接变成0，也可以减1，根据需求而定，即删除一条重复存在的记录时，应该全部删除还是使其数目减一
    else
        p->value = 0;
    // 理论上，这里应该检查他的孩子是不是全空，如果是全部value为0，则应该释放孩子的空间。
    // 这个功能用DFS或BFS都可以，我这里暂时还没有实现
}

int main()
{
    timeb time_begin;
    timeb time_end;
    unsigned int seconds;
    unsigned int miseconds;
    ftime(&time_begin);    
    ftime(&time_end);
    seconds = time_end.time - time_begin.time;
    miseconds = time_end.millitm - time_begin.millitm;
    miseconds = seconds * 1000 + miseconds;

    TrieTree tree = new Node();
    

    // 测试插入功能
    printf(">> 测试插入功能：
");
    ifstream input_file;
    input_file.open("D:\url_test.txt");
    if(!input_file.is_open())
    {
        printf(">> 打开文件错误！
");
        system("pause");
        return 0;
    }
    char* buff = new char[256];                    // 这里限定了字符串长度不应超过255字节
    int count = 0;
    while(input_file.getline(buff, 255) && ++count)
        insert_data(tree, buff);
    printf("插入了%d条记录
", count);
    input_file.close();
    
    // 测试查找功能
    printf(">> 测试查找功能：
");
    const char* url_a = "http://www.hello.com";                                // 这个在文件中存在
    const char* url_b = "http://www.hello.com/page/act.php";                // 这个在文件中不存在
    const char* url_c = "http://www.hello.com/page/act.php?id=1&type=2";    // 这个在文件中存在
    find_data(tree, url_a);
    find_data(tree, url_b);
    find_data(tree, url_c);

    // 测试查询时间
    printf(">> 测试在%d条记录中查询一条记录的时间
", count);
    const char* url_test_speed = "http://s.click.taobao.com/t?e=zGU34CA7K%2BPkqB05%2Bm7rfGGjlY60oHcc7bkKOQiQwA%2Bn8dIL0yz4XEf7SJJqAW9QTXy4suwjS35MBTv2weLfJpv1G1NPH2kOWiZdmW9hl%2FCQQEpYwkL6cw%3D%3D";

    ftime(&time_begin);    
    find_data(tree, url_test_speed);
    ftime(&time_end);
    seconds = time_end.time - time_begin.time;
    miseconds = time_end.millitm - time_begin.millitm;
    miseconds = seconds * 1000 + miseconds;
    printf("本次查找耗时：	%u	毫秒
", miseconds);

    // 测试删除功能
    printf(">> 测试删除功能：
");
    printf("删除：%s
", url_a);
    delete_data(tree, url_a);
    printf(">> 再查找：
");
    find_data(tree, url_a);
    printf("
删除：%s
", url_b);
    delete_data(tree, url_b);
    printf(">> 再查找：
");
    find_data(tree, url_b);
    printf("
删除：%s
", url_c);
    delete_data(tree, url_c);
    printf(">> 再查找：
");
    find_data(tree, url_c);
    printf("
删除：%s
", url_test_speed);
    delete_data(tree, url_test_speed);
    printf(">> 再查找：
");
    find_data(tree, url_test_speed);
    system("pause");
    return 0;
}

输出结果：

>> 测试插入功能：
插入了1015746条记录
>> 测试查找功能：
找到：http://www.hello.com
没有：http://www.hello.com/page/act.php
找到：http://www.hello.com/page/act.php?id=1&type=2
>> 测试在1015746条记录中查询一条记录的时间
找到：http://s.click.taobao.com/t?e=zGU34CA7K%2BPkqB05%2Bm7rfGGjlY60oHcc7bkKOQiQwA%2Bn8dIL0yz4XEf7SJJqAW9QTXy4suwjS35MBTv2weLfJpv1G1NPH2kOWiZdmW9hl%2FCQQEpYwkL6cw%3D%3D
本次查找耗时：  0       毫秒
>> 测试删除功能：
删除：http://www.hello.com
>> 再查找：
没有：http://www.hello.com

删除：http://www.hello.com/page/act.php
>> 再查找：
没有：http://www.hello.com/page/act.php

删除：http://www.hello.com/page/act.php?id=1&type=2
>> 再查找：
没有：http://www.hello.com/page/act.php?id=1&type=2

删除：http://s.click.taobao.com/t?e=zGU34CA7K%2BPkqB05%2Bm7rfGGjlY60oHcc7bkKOQiQwA%2Bn8dIL0yz4XEf7SJJqAW9QTXy4suwjS35MBTv2weLfJpv1G1NPH2kOWiZdmW9hl%2FCQQEpYwkL6cw%3D%3D
>> 再查找：
没有：http://s.click.taobao.com/t?e=zGU34CA7K%2BPkqB05%2Bm7rfGGjlY60oHcc7bkKOQiQwA%2Bn8dIL0yz4XEf7SJJqAW9QTXy4suwjS35MBTv2weLfJpv1G1NPH2kOWiZdmW9hl%2FCQQEpYwkL6cw%3D%3D
请按任意键继续. . .