编程珠玑 第一章 位图排序算法

位图排序是一种效率极高(复杂度可达O(n))并且很节省空间的一种排序方法，但是这种排序方法对输入的数据是有比较严格的要求(数据不能重复，大致知道数据的范围)。位图排序即利用位图或者位向量来表示集合。举个例子，假如有一个集合{3,5,7,8,2,1}，我们可以用一个8位的二进制向量set[1-8]来表示该集合，如果数据存在，则将set相对应的二进制位置1，否则置0.根据给出的集合得到的set为{1,1,1,0,1,0,1,1}，然后再根据set集合的值输出对应的下标即可得到集合{3,5,7,8,2,1}的排序结果。这个就是位图排序的原理。

一.位图排序的应用：

      1.给40亿个不重复的unsigned int的整数，没有排过序，然后再给一个数，如果快速判断这个数是否在那40亿个数当中。

      因为unsigned int数据的最大范围在在40亿左右，40*10^8/1024*1024*8=476，因此只需申请512M的内存空间，每个bit位表示一个unsigned int。读入40亿个数，并设置相应的bit位为1.然后读取要查询的数，查看该bit是否为1，是1则存在，否则不存在。

      2.给40亿个unsigned int的整数，如何判断这40亿个数中哪些数重复？

      同理，可以申请512M的内存空间，然后读取40亿个整数，并且将相应的bit位置1。如果是第一次读取某个数据，则在将该bit位置1之前，此bit位必定是0；如果是第二次读取该数据，则可根据相应的bit位是否为1判断该数据是否重复。

二.位图排序的实现

     由于在C语言中没有bit这种数据类型，因此必须通过位操作来实现。

     假如有若干个不重复的正整数，范围在[1-100]之间，因此可以申请一个int数组，int数组大小为100/32+1。

假如有数据32，则应该将逻辑下标为32的二进制位置1，这个逻辑位置在A[1]的最低位(第0位)。

因此要进行置1位操作，必须先确定逻辑位置：字节位置(数组下标)和位位置。

字节位置=数据/32;(采用位运算即右移5位)

位位置=数据%32;(采用位运算即跟0X1F进行与操作)。

其他操作如清0和判断两个操作类似。

引自：http://www.cnblogs.com/dolphin0520/archive/2011/10/19/2217369.html

位图排序头文件：

#define true 1
#define false 0
typedef int bool;
void set_bit(unsigned int *bitmap,unsigned int k);
void clear_bit(unsigned int *bitmap,unsigned int k);
bool test_bit(unsigned int *bitmap,unsigned int k);
bool init_bitmap(unsigned int **bitmap,unsigned int n);

位图排序实现文件：

//bitmap_sort.c 文件
//实现位图排序功能
#include <stdio.h>
#include <stdlib.h>
#include <memory.h>
#include "bitmap_sort.h"
#define BITSPERWORD 32
#define SHIFT 5
#define MASK 0x1F


// 数字k所对应位图的位置置为1
void set_bit(unsigned int *bitmap,unsigned int k)
{
    unsigned int byte_position;
    unsigned short bit_position;
    byte_position = k >> 5//byte_position表示k在位图中的字节
    bit_position = k & 0x1F;//bit_position表示k所在字节的位
    /*printf("byte = %d    bit = %d\n", byte_position, bit_position);*/
    bitmap[byte_position] = bitmap[byte_position] | (1 << bit_position);
}

//数字k所对应位图的位置清零
void clear_bit(unsigned int *bitmap,unsigned int k)
{
    unsigned int byte_position;
    unsigned short bit_position;
    byte_position = k >> 5;
    bit_position = k & 0x1F;
    /*printf("byte = %d    bit = %d\n", byte_position, bit_position);*/
    bitmap[byte_position] = bitmap[byte_position] & ~(1 << bit_position);
}

//测试数字k所对应位图的位置为1或为0
bool test_bit(unsigned int *bitmap,unsigned int k)
{
    unsigned int byte_position;
    unsigned short bit_position;
    byte_position = k >> 5;
    bit_position = k & 0x1F;
    /*printf("byte = %d    bit = %d\n", byte_position, bit_position);*/
    return bitmap[byte_position] & (1 << bit_position);
}

//初始化位图
bool init_bitmap(unsigned int **bitmap, unsigned int n)
{
    unsigned int size = 1 + n/BITSPERWORD, i;
    printf("n = %u    size = %u\n", n, size);
    *bitmap = (unsigned int *)malloc(size*sizeof(unsigned int));
    if(*bitmap == NULL)
    {
        printf("Failed to malloc\n");
        return false;
    }
    //数据初始化
    /*for(i = 1 ; i <=n; i ++)
        clear_bit(*bitmap, i);
    */
    //新开辟的空间均初始化为零
    memset(*bitmap, 0, size*sizeof(unsigned int));
    return true;
}

位排序测试文件:

#include<stdio.h>
#include<stdlib.h>
#include "bitmap_sort.h"
//从文件proc读入数据，添加到位图中，文件的中格式是以空格隔开的，例如10 20 2。
//proc        读取文件指针
//n            位图大小
//bitmap    位图集合
bool in_process(FILE *proc, unsigned int n, unsigned int *bitmap)
{
    unsigned int k;
    printf("in process\n");
    while(!feof(proc))
    {
        if(!fscanf(proc, "%u ", &k))//读取整数
        {
            printf("when input data from file, some error happened!\n");
            return false;
        }
        else if( k > n) //整数是否在范围内
        {
            printf("data upper overflow!\n");
            return false;
        }
        else
        {
            printf("data = %u\n", k);
            set_bit(bitmap,k);
        }
    }
    return true;
    
}
//从位图读取数据，写入到proc文件中
//proc        写入文件指针
//n            位图大小
//bitmap    位图集合

bool out_process(FILE *proc, unsigned int n, unsigned int *bitmap)
{
    unsigned int i, k;
    printf("out process\n");
    for(i = 1; i <= n; i ++)
    {
        if(!test_bit(bitmap, i))
            continue;
        else if(feof(proc))//检测文件结束
        {
            printf("when output data into  flie, some errors happened!\n");
            return false;
        }
        else
        {
            printf("data = %u\n", i);
            fprintf(proc, "%u ", i);
        }
        
    }
    return true;
}

//函数调用需要三个参数： 位图大小 输入文件 输出文件
int main(int argc, char *argv[])
{
    unsigned int *bitmap;
    FILE *in, *out;
    if(argc != 4)
    {
        printf("Usage: %s n infile outfile\n", argv[0]);
        return -1;
    }
    
    
    unsigned int size = atoi(argv[1]);
    
    if((in = fopen(argv[2], "r")) == NULL)
    {
        printf("open infile failed\n");
        fclose(in);
        return -1;
    }
    if((out = fopen(argv[3], "w")) == NULL)
    {
        printf("open outfile failed\n");
        fclose(out);
        return -1;
    }
    
    
    if(!init_bitmap(&bitmap, size))
    {
        printf("init_bitmap failed\n");
        return -1;
    }

    if(!in_process(in, size, bitmap))
    {
        printf("in_process failed\n");
        fclose(in);
        free(bitmap);
        return -1;
    }
    
    if(!out_process(out, size, bitmap))
    {
        printf("in_process failed\n");
        fclose(in);
        fclose(out);
        free(bitmap);
        return -1;
    }
    
    fclose(in);
    fclose(out);
    free(bitmap);
    return 0;
    
}

测试数据产生文件：

#include<stdio.h>
#include<stdlib.h>
#include <assert.h>
//产生[lower upper]区间的随机整数
int randint(int lower, int upper)
{
    assert(lower <= upper);
    return rand()%(upper - lower + 1) + lower;
}

//交换set[lower - 1] 与 set [upper]
void swap(unsigned int *set, unsigned int x, int y )
{
    unsigned int element;
    element = set[x - 1];
    set[x - 1 ] = set[y - 1];
    set[y - 1] = element;
}

//函数调用需要三个参数： 数据的最大值 数据数目 输出文件
int main(int argc, char *argv[])
{

    unsigned int *set;
    FILE *file;
    int i;
    if(argc != 4)
    {
        printf("Usage: %s max size infile outfile\n", argv[0]);
        return -1;
    }
    
    unsigned int max = atoi(argv[1]);
    unsigned int size = atoi(argv[2]);
    
    assert(size < max);
    
    if((file = fopen(argv[3], "w")) == NULL)
    {
        printf("open infile failed\n");
        fclose(file);
        return -1;
    }
    
    set = (unsigned int *)malloc(max * sizeof(unsigned int));
    
    if(set == NULL)
    {
        printf("Failed to malloc set\n");
        fclose(file);
        return -1;
    }
    
    for(i = 1; i <= max; i ++)    
        set[i - 1] = i;
    
    //产生size个[1, max]内不重复的整数，源自编程珠玑第一章习题4
    for(i = 1; i <= size; i ++)
    {
        swap(set, i, randint(i, max));
        
        if(feof(file))//检测文件结束
        {
            printf("when output data into  flie, some errors happened!\n");
            return 1;
        }
        else
        {
            printf("data[%u] = %u\n", i, set[i - 1]);
            fprintf(file, "%u ", set[i - 1]);
        }
        
    }
    
    fclose(file);
    free(set);
    return 0;
    
}