几种排序的比较 bitmapsort，qsort，set

今天看了编程珠玑的column1，其中Problem 1是假设内存足够大，如何用库函数实现对100w个数的排序，而Problem2是让实现bit vector操作(bset,clear, test)，Problem3让实现bitmap sort 并和Problem1的sort做比较。

先来讲一下bit vetcor，它其实是数据压缩的一种方式。思想是利用每一个bit代表一个数，1个int 有32bit ，故一个int可以表示32个数。举个例子说，现在有一个int a，那么a的低位到高位分别代表0~31(每一位是1或0，1表示有该数，0表示没有)；假如现在有集合{1,2,5,8}，则a的二进制为(高位)00000000 00000000 00000001 00100110(低位)。bit vector 的操作有bset(i)，clear(i)，test(i)分别是对数i在整数数组中的设置，清除，和检查。

现在假设最多有10000000个数，那么则需要1+10000000/32 个int来存储这10000000个数。

对于每个数i 设置的操作将第i个bit设为1，第i个bit可以看成是第(i/32)个int里边的第(i%32)位。而已知整数右移一位表示除以2，于是i/32可表示为i>>5，i%32可表示为i与低八位的与，即 i & 0x1F。于是设置操作为a[i>>5] |= 1<<(i & 0x1F)；clear(i)操作则是a[i>>5] &=~( 1<<(i & 0x1F))；test(i)操作为a[i>>5] & (1<<(i & 0x1F)).用MASK表示0x1F，BITSPERWORD表示32，SHIFT表示5

代码如下：

#define BITSPERWORD 32
#define SHIFT 5
#define MASK 0x1F
#define N 10000000
int a[1+N/BITSPERWORD];
void bset(int i)
{    a[i>>SHIFT] |= 1<<(i & MASK);}

void clr(int i)
{    a[i>>SHIFT] &= ~(1<<(i & MASK));}

int test(int i)
{    return a[i>>SHIFT] & (1<<(i & MASK));}

bitmap sort的思想很简单，首先将N个数clear(即设为0)，然后对读取的每一个数在数组上设为1，输出的时候将含1的数(test(i))从小到大输出即可。下面给出的是含对文件的操作。不需要对文件操作可自行修改。

code：

void bitSort()
{
    int i;
    for (i =0; i < N; ++i)
    {    
        clr(i);
    }
    FILE *fp1 = NULL;//read file
    FILE *fp2 = NULL;//write another file

    if(NULL == (fp1 = fopen("data.txt","r")))
        throw ("open file failed!");
    /*while (scanf("%d",&i) != EOF)
    {
        bset(i);
    }*/
    //文件读取改写：
    while (fscanf(fp1,"%d",&i)!=EOF)
    {
        bset(i);
    }
    fclose(fp1);
    fp1 = NULL;
    fp2 = fopen("bitsortData.txt","w+");
    for (i = 0; i < N; ++i)
    {
        if (test(i))
        {
            fprintf(fp2,"%d\n",i);
        }
    }
    fclose(fp2);
    fp2 = NULL;
    printf("Bitsort complete!\n");
}

为了测试该函数，还需要生成1000000个互不相等的整数。下面给出该函数

//生成k个整数，范围0~N，N为上面定义的，并写到文件data.txt
void produceRand(int k)
{
    int *buf = (int*)malloc(N * sizeof(int));
    if(NULL == buf)return;
    FILE *fp = NULL;
    fp = fopen("data.txt","w+");
    if (fp == NULL)
    {
        throw ("can't open file!");
    }
    int i;    
    for (i = 0; i < N; ++i)
    {
        buf[i] = i;
    }
    for (i = 0; i < k; ++i)
    {
        //生成i~n-1之间的随机数
        int randi = i + (int)(rand() / (RAND_MAX + 1.0) * (N-1-i));
        //swap(i, randi)
        int tmp = buf[i];        
        buf[i] = buf[randi];
        buf[randi] = tmp;
        fprintf(fp,"%d\n",buf[i]);
    }
    printf("Write file complete\n");
    fclose(fp);
    fp = NULL;
    free(buf);
    buf = NULL;
}

使用qsort对文件data.txt中的数排序：

//比较函数
int intcomp(const void *x, const void *y)
{    return *(int*)x - *(int*)y;}

void myQsort()
{
    //申请空间，a[1000000]
    int *a = (int*)malloc(1000000 * sizeof(int));
    if (a == NULL) return;
    int i,n;
    FILE *fp1 = NULL;//read file
    FILE *fp2 = NULL;//write another file

    if(NULL == (fp1 = fopen("data.txt","r")))
        throw ("open file failed!");
    n = 0;
    //读入数据
    while (fscanf(fp1,"%d",&a[n])!=EOF)
    {
        n++;
    }
    fclose(fp1);
    fp1 = NULL;
    //使用qsort排序
    qsort(a, n, sizeof(int), intcomp);
    //将结果写入文件
    fp2 = fopen("qsortData.txt","w+");
    for (i = 0; i < n; ++i)
    {
        fprintf(fp2,"%d\n",a[i]);
    }
    fclose(fp2);
    fp2 = NULL;
    printf("Qsort complete!\n");
    free(a);
    a = NULL;
}

使用C++ STL中的set对文件data.txt中的数排序：

void setSort()
{    
    set<int> S;
    int i;
    set<int>:: iterator j;
    FILE *fp1 = NULL;//read file
    FILE *fp2 = NULL;//write another file

    if(NULL == (fp1 = fopen("data.txt","r")))
        throw ("open file failed!");
    //插入数据
    while (fscanf(fp1,"%d",&i)!=EOF)
    {
        S.insert(i);
    }
    fclose(fp1);
    fp1 = NULL;
    //将结果写入文件
    fp2 = fopen("setsortData.txt","w+");
    for (j = S.begin(); j != S.end(); ++j)
    {
        fprintf(fp2,"%d\n", *j);
    }
    fclose(fp2);
    fp2 = NULL;
    printf("Setsort complete!\n");
}

主函数为：

#include <stdio.h>
#include <stdlib.h>
#include <set>
#include <time.h>
using namespace std;
int main()
{    
//    produceRand(1000000);
    clock_t start,finish;//计时
    double duration;
    start = clock();
    bitSort();
    finish = clock();
    duration = (double)(finish - start) / CLOCKS_PER_SEC;
    printf("bitsort time: %lfs\n", duration);

    start = clock();
    myQsort();
    finish = clock();
    duration = (double)(finish - start) / CLOCKS_PER_SEC;
    printf("qsort time: %lfs\n", duration);

    start = clock();
    setSort();
    finish = clock();
    duration = (double)(finish - start) / CLOCKS_PER_SEC;
    printf("setsort time: %lfs\n", duration);
                  return 0；
}

运行该程序得到三种排序的比较效果：

可以发现bitmap sort最快，使用set 排序最慢。而且bitmap sort使用的空间也少，qsort需要1000000个int，而bitmap sort则只需要1+ 1000000/32个int。可见bitmap sort的强大和高效！