使用堆查找前K个最大值兼谈程序优化(上)

     一、 缘起

        看到CSDN社区有篇《3秒搞定一亿数据的前K个最大值》， 想想堆排序不是可以用来做这事吗，于是就动手做做，看看堆排序能够达到怎样的效率。堆的原理就不多说了，网上有好多， 如果想参阅比较权威性的材料，可参见《算法导论》第六章堆排序。 本文的程序即是建立其上。

     

     二、 程序

    KthMax.c

    

/* 
 * 使用堆排序求解前K个最大值问题
 *
 */ 
 
 #include "HeapUtil.c"
 
/* 计算 list 中前 k 个最大值 */
Elem* findkthMax(Elem *list, int k, long num);        
void testkthMax(long NUM, int K);
void measure(long NUM , int K);
void testValid();
void testPerf();

int main()
{
      srand(time(NULL));  
      //test(" Test Valid ", testValid);
      // test(" Measure Performace ", testPerf);
      
      measure(100000000, 100);
      
      getchar();
      return 0;
}

void test(char *msg, void (*test)())
{
     printf("\n----------- %s ----------\n", msg);
     (*test)();
     printf("\n\n");
}

void testValid()
{
     long num;
     int k;
     for (num = 0; num <= 8; num += 1) {
        for (k = 0; k <= num; k+=1) {
           testkthMax(num, k);
        } 
     }
}

/* 测试找出前K个最大值 */
void testkthMax(long NUM, int K)
{
      Elem *kthmax;
      Elem* list = myalloc(NUM+1);
      creatList(list, NUM);
      printf("\nThe original list:\n");
      printList(list, NUM);
      kthmax = findkthMax(list, K, NUM);
      printListInternal(kthmax, 0, K, K);  
      free(kthmax);
      free(list);
      printf("\n"); 
}

void testPerf()
{
     long num ; 
     int k;
     for (num = 1; num <= 100000000; num*=10) {
        for (k = 1; k <= 1000 && k <= num ; k*=10) {
           measure(num, k);
        } 
     }
}

void measure(long NUM , int K)
{
      clock_t start, end;
      Elem *kthmax;
      Elem* list = myalloc(NUM+1);
      creatList(list, NUM);
      
      start = clock();
      kthmax = findkthMax(list, K, NUM);
      end = clock();
      
      free(kthmax);
      free(list); 
      printf("\nNUM = %-10ld, K = %-10d, Eclipsed time: %6.3f\n", NUM, K, ((double)(end-start))/CLOCKS_PER_SEC);
}


/* 计算 list 中前 k 个最大值 */
Elem* findkthMax(Elem *list, int k, long n)
{
     long i;
     long heapsize = n;
     Elem *kthmax = myalloc(k);
     Elem *p = kthmax;
     buildInitMaxHeap(list, n);
     for (i = n; i > n-k; i--) {
           (p++)->num = list[1].num;        
            swap(&list[1], &list[i]);
            heapsize--;
            maxHeapify(list, 1, heapsize);
     }
     return kthmax;
}

    HeapUtil.c

　 

/* HeapUtil.c
 * 实现建堆过程的函数 
 *
 * NOTE: 数组 list 的 0 号单位未用，元素应放置于[1:num]而不是[0:num-1]
 *       num 是应用中的数据数目， 因此必须给数组分配至少 num+1 个元素空间，
 */

#include "common.c"

#define LEFT(i)     (2*(i))
#define RIGHT(i)    (2*(i)+1)

/* 
 * maxHeapify: 使以结点i为根的子树为最大堆. 
 * 前置条件：结点i的左右子树都满足最大堆性质 
 */
void maxHeapify(Elem list[], long i, long heapsize);  
void buildInitMaxHeap(Elem list[], long num);    /* BuildMaxHeap: 构造初始最大堆 */
void swap(Elem *e1, Elem *e2);

void maxHeapify(Elem list[], long i, long heapsize)
{
      long largest = i;     /* 结点i与其左右孩子节点中关键词最大的那个结点的下标 */
      long lch = LEFT(i);
      long rch = RIGHT(i);
      
      if (lch <= heapsize && list[lch].num > list[largest].num) {
            largest = lch;
      }
      if (rch <= heapsize && list[rch].num > list[largest].num) {
               largest = rch;
      }
        if (largest != i) {
               swap(&list[largest], &list[i]);
               maxHeapify(list, largest, heapsize);
      }
}

/* 
 * buildMaxHeap: 构造初始最大堆 
 */

void buildInitMaxHeap(Elem list[], long num)
{
     long i;
     for (i = (num+1)/2; i >= 1; i--)
        maxHeapify(list, i, num);
}

void swap(Elem *e1, Elem *e2)
{
      Elem e;
      e = *e1;
      *e1 = *e2;
      *e2 = e;
}

   common.c

　

/* 
 * common.c 存放公共结构与例程 
 */
 
#include <stdio.h>
#include <stdlib.h>
#include <time.h>
#include <limits.h>
 
 typedef struct {
      long  num;   /* 设为关键词 */
 } Elem;

void creatListInternal(Elem *list, long offset, long num, long len);
void printListInternal(Elem *list, long offset, long num, long len);
void creatList(Elem *list, long num);
void printList(Elem *list, long num);
Elem *myalloc(long size);
long randNum();

/* 
 * 随机生成列表元素，并存入从offset开始的 num 个元素, len 是为列表长度 
 * 若 len < offset + num 则只存入 len-offset个元素 
 */
void creatListInternal(Elem *list, long offset, long num, long len)
{
       long i, endIndex = offset+num;
       srand(time(NULL));
       if (offset < 0 || offset >= len) {
            return ;
       }
       if (endIndex > len) {
          endIndex = len ;
       }
       for (i = offset; i < endIndex; i++)
          (*(list+i)).num = randNum();
}

/* 
 *  打印从offset开始的num个元素, len 是为列表长度
 *  若 len < offset + num 则只打印 len-offset个元素 
 */ 
void printListInternal(Elem *list, long offset, long num, long len)
{
       long i, endIndex = offset+num;
       if (offset < 0 || offset >= len) {
            return ;
       }
       if (endIndex > len) {
          endIndex = len ;
       }
       for (i = offset; i < endIndex; i++)
           printf("%3d%c", (*(list+i)).num, ((i-offset+1)%10 == 0) ? '\n': ' ');
       printf("\n");
}

void creatList(Elem *list, long num)
{
     creatListInternal(list, 1, num, num+1);
}

void printList(Elem *list, long num)
{
     printListInternal(list, 1, num, num+1);
}

Elem *myalloc(long size)
{
     Elem* list = (Elem *)malloc(size*sizeof(Elem));
     if (!list) {
          fprintf(stderr, "fail to allocate memory.");
          exit(1);
      }
      return list;
}

long randNum()
{ 
     return ((1 + rand()) % INT_MAX) * ((1 + rand()) % INT_MAX);
}

   HeapSort.c

   

/*
 * HeapSort.c 实现堆排序 
 */ 

#include "HeapUtil.c"

#define NUM 10 
 
void heapSort(Elem list[], long num);
void testHeapSort(); 
 
int main()
{
    printf("*********** test heap sort ********");
    testHeapSort();
    getchar();
    return 0;
}
 

void heapSort(Elem list[], long num)
{
     long i, heapsize = num;
     buildInitMaxHeap(list, num);
     
     for (i = num; i >= 1; i--) {
        swap(&list[1], &list[i]);
        heapsize--;
        maxHeapify(list, 1, heapsize);
     }
} 
 
 /* 测试堆排序 */
void testHeapSort()
{  
      Elem list[NUM+1];
      creatList(list, NUM);
      printf("\nThe original list:\n");
      printList(list, NUM);
      printf("\n");
      heapSort(list, NUM); 
      printf("\nThe sorted list:\n");
      printList(list, NUM);
      printf("\n"); 
}

     三、 时间测量

      

  

        四、 效率分析

        使用堆的方法在n个数值中查找前K个最大值的时间效率为 O(n + k*log2n) ，其中建立初始最大堆(即buildInitMaxHeap)的时间为O(n) ，而每次查找均需要约 O(log2n) ， 合起来即是前述结果。 因此， 总时间是随总元素数目线性增长的， 而当K远小于 n 时， 查找前K个最大值所耗费的时间差别不大。

        五、 程序优化的起点

        从结果中可以看到，比别人的整整慢一倍！ 还有的能达到0.1s级别，当然，这可能与机器硬件配置有关，不过，无论如何，也阻挡不住我进行程序优化的决心了。之前学过一些优化的方法手段，正好在这程序上练练手，巩固下。 请期待下文。