线性回归模型之之概率解释

　　上一节从最小二乘函数损失函数优化求解线性回归模型参数，本节将通过概率统计的角度求解线性回归模型参数，为最小二乘算法给出其概率上解释。

　　首先假设输出变量与输入变量之间存在关系：

　                     　                                                                                              (1)

其中，ε^（i) 模型的预测值与真实值之间的噪声，我们假设预测值的噪声是随机独立的，服从分布：

　　

                                                                                  (2)

因此，我们可以得到：

　　　　　　　　　　                                      (3)

   对于N个样本我们得到它的似然函数：

                                                       (4)     

  最大化对数似然函数L(Θ):

                                         (5)

该式等于最小化：

                                                                                             (6)

当前这个公式正是在 ”线性回归模型之一“一文中提到的最小二乘的损失函数。