算法时间复杂度求解

深夜和网络大神们聊起算法时间复杂度计算，T (n) = aT (n/b) + f(n)，乍一看还以为是最小二乘的兄弟，梯度下降也不是，百度一看是递归。大神便扔来博客：www.cnblogs.com/fanchangfa/p/3868696.html，恍然大悟，大一就学过的方法，快还给书本了。

     在进行算法分析时，语句总的执行次数T(n)是关于问题规模n的函数，进而分析T(n)随n的变化情况并确定T(n)的数量级。算法的时间复杂度，也就是算法的时间量度，基座T（n）=O(f(n))。它表示随问题规模n的增大，算法执行时间的增长率和f(n)的增长率相同，称作算法的渐进算法时间复杂度，简称为时间复杂度。其中f(n)是问题规模n的某个函数。

一般用大写O()来表示算法的时间复杂度写法，通常叫做大O记法。

一般情况下，随着n的增大，T(n)增长最慢的算法为最优算法。

O(1)：常数阶

O(n)：线性阶

O(n²)：平方阶

大O推导法：

1. 用常数1取代运行时间中的所有加法常数
2. 在修改后的运行函数中，只保留最高阶项
3. 如果最高阶项存在且不是1，则去除与这个项相乘的常数

常数阶：

int sum = 0 ; n = 100;        /*执行一次*/
sum = (1+n)*n/2;             /*执行一次*/
printf("%d",sum);            /*执行一次*/

这个算法的运行次数f(n) = 3,根据推导大O阶的方法，第一步是将3改为1，在保留最高阶项是，它没有最高阶项，因此这个算法的时间复杂度为O(1);

另外，

int sum = 0 ; n = 100; /*执行一次*/
sum = (1+n)*n/2; /*执行第1次*/
sum = (1+n)*n/2; /*执行第2次*/
sum = (1+n)*n/2; /*执行第3次*/
sum = (1+n)*n/2; /*执行第4次*/
sum = (1+n)*n/2; /*执行第5次*/
sum = (1+n)*n/2; /*执行第6次*/
sum = (1+n)*n/2; /*执行第7次*/
sum = (1+n)*n/2; /*执行第8次*/
sum = (1+n)*n/2; /*执行第9次*/
sum = (1+n)*n/2; /*执行第10次*/
printf("%d",sum); /*执行一次*/

上面的两段代码中，其实无论n有多少个，本质是是3次和12次的执行差异。这种与问题的大小无关，执行时间恒定的算法，成为具有O(1)的时间复杂度，又叫做常数阶。

注意：不管这个常数是多少，3或12，都不能写成O(3)、O(12)，而都要写成O(1)

此外，对于分支结构而言，无论真假执行的次数都是恒定不变的，不会随着n的变大而发生变化，所以单纯的分支结构（不在循环结构中），其时间复杂度也是O(1)。

线性阶：

线性阶的循环结构会复杂一些，要确定某个算法的阶次，需要确定特定语句或某个语句集运行的次数。因此要分析算法的复杂度，关键是要分析循环结构的运行情况。

int i;
for(i = 0 ; i < n ; i++){
  /*时间复杂度为O(1)的程序*/      
}

对数阶：

int count = 1;
while(count < n){
  count = count * 2;
  /*时间复杂度为O(1)的程序*/    
}

因为每次count*2后，距离结束循环更近了。也就是说有多少个2 相乘后大于n，退出循环。

数学公式：2^x = n    -->     x = log₂ⁿ

因此这个循环的时间复杂度为O(logn)

平方阶：

int i;
for(i = 0 ; i < n ; i++){
   for(j = 0 ; j < n ; j++){
    /*时间复杂度为O(1)的程序*/  
    }    
}

上面的程序中，对于对于内层循环，它的时间复杂度为O(n)，但是它是包含在外层循环中，再循环n次，因此这段代码的时间复杂度为O(n²)。

int i;
for(i = 0 ; i < n ; i++){
   for(j = 0 ; j < m ; j++){
    /*时间复杂度为O(1)的程序*/  
    }    
}

但是，如果内层循环改成了m次，时间复杂度就为O(n*m)

再来看一段程序：

int i;
for(i = 0 ; i < n ; i++){
   for(j = i ; j < n ; j++){
    /*时间复杂度为O(1)的程序*/  
    }    
}

注意：上面的内层循环j = i ;而不是0

因为i = 0时，内层循环执行了n次，当i=1时，执行了n-1次……当i=n-1时，执行了1次，所以总的执行次数为：

n+(n-1)+(n-1)+...+1 = ⁿ⁽ⁿ⁺¹⁾/₂  =  n²/₂ + _ⁿ/₂

根据大O推导方法，保留最高阶项，n²/₂ ，然后去掉这个项相乘的常数，1/2

因此，这段代码的时间复杂度为O(n²)

下面，分析调用函数时的时间复杂度计算方法：

首先，看一段代码：

int i,j;

void function(int count){
print(count);
}

for(i = 0 ; i < n ; i++){
function (i)
}

函数的时间复杂度是O(1)，因此整体的时间复杂度为O(n)。

假如function是这样的：

void function(int count){
  int j;
  for(j = count ; j < n ;j++){
        /*时间复杂度为O(1)的程序*/
 }
}

和第一个的不同之处在于把嵌套内循环放到了函数中，因此最终的时间复杂度为O(n²)

再来看一个比价复杂的语句:

n++; /*执行次数为1*/
function(n); /*执行次数为n*/
int i,j;
for(i = 0 ; i < n ; i++){ /*执行次数为nXn*/
function(i);
}
for(i = 0 ; i < n ; i++){ /*执行次数为n(n+1)/2*/
for(j = i ; j < n ; j++){
/*时间复杂度为O(1)的程序*/
}
}

它的执行次数f(n) = 1 + n + n² + ⁿ⁽ⁿ⁺¹⁾/₂ + ³/₂n²+³/₂ n+1,

根据推导大O阶的方法，最终它的时间复杂度为：O(n²)

常见的时间复杂度：

 

时间复杂度所耗费的时间是：

O(1) < O(logn) < O(n) < O(nlogn) < O(n²) < O(n³) <O(2ⁿ) < O(n!) <O(nⁿ)

-----------------------------------------------------------------------------------------------------------------------------------------------------------

可是当出现 T(n)=T(n-1)+T(n-2)+T(n-3)，这种公式算法的时间复杂度怎么计算呢？

你可能想说眼观就知道是 O(n)，可是你有想过它逆序的可能吗？（有没有联想到斐波那契数列？）

所以祖宗出来了，Master定理：T (n) = aT (n/b) + f(n)

                            一般，a>=1、b>1,且都为常数，f(n)为正

一共有3种情况：

1. If f(n) = O(n logb a− ) for some constant  > 0, then T (n) = Θ(n logb a ).

2. If f(n) = Θ(n logb a logk n) with1 k ≥ 0, then T (n) = Θ(n logb a logk+1 n).

3. If f(n) = Ω(n logb a+ ) with  > 0, and f(n) satisfies the regularity condition, then T (n) = Θ(f(n)). Regularity condition: af(n/b) ≤ cf(n) for some constant c < 1 and all sufficiently large n.

eg:

1. T (n) = 3T (n/2) + n 2 =⇒ T (n) = Θ(n 2 ) (Case 3)

2. T (n) = 4T (n/2) + n 2 =⇒ T (n) = Θ(n 2 log n) (Case 2)

3. T (n) = T (n/2) + 2n =⇒ Θ(2n ) (Case 3)

4. T (n) = 2nT (n/2) + n n =⇒ Does not apply (a is not constant)

5. T (n) = 16T (n/4) + n =⇒ T (n) = Θ(n 2 ) (Case 1)

6. T (n) = 2T (n/2) + n log n =⇒ T (n) = n log2 n (Case 2)

7. T (n) = 2T (n/2) + n/ log n =⇒ Does not apply (non-polynomial difference between f(n) and n logb a )

8. T (n) = 2T (n/4) + n 0.51 =⇒ T (n) = Θ(n 0.51) (Case 3)

9. T (n) = 0.5T (n/2) + 1/n =⇒ Does not apply (a < 1)

10. T (n) = 16T (n/4) + n! =⇒ T (n) = Θ(n!) (Case 3)

11. T (n) = √ 2T (n/2) + log n =⇒ T (n) = Θ(√ n) (Case 1)

12. T (n) = 3T (n/2) + n =⇒ T (n) = Θ(n lg 3 ) (Case 1)

13. T (n) = 3T (n/3) + √ n =⇒ T (n) = Θ(n) (Case 1)

14. T (n) = 4T (n/2) + cn =⇒ T (n) = Θ(n 2 ) (Case 1)

15. T (n) = 3T (n/4) + n log n =⇒ T (n) = Θ(n log n) (Case 3)

16. T (n) = 3T (n/3) + n/2 =⇒ T (n) = Θ(n log n) (Case 2)

17. T (n) = 6T (n/3) + n 2 log n =⇒ T (n) = Θ(n 2 log n) (Case 3)

18. T (n) = 4T (n/2) + n/ log n =⇒ T (n) = Θ(n 2 ) (Case 1)

19. T (n) = 64T (n/8) − n 2 log n =⇒ Does not apply (f(n) is not positive)

20. T (n) = 7T (n/3) + n 2 =⇒ T (n) = Θ(n 2 ) (Case 3)

21. T (n) = 4T (n/2) + log n =⇒ T (n) = Θ(n 2 ) (Case 1)

22. T (n) = T (n/2) + n(2 − cos n) =⇒ Does not apply. We are in Case 3, but the regularity condition is violated. (Consider n = 2πk, where k is odd and arbitrarily large. For any such choice of n, you can show that c ≥ 3/2, thereby violating the regularity condition.)