广义线性模型(GLM, Generalized Linear Model)

引言：通过高斯模型得到最小二乘法(线性回归)，即：

    

通过伯努利模型得到逻辑回归，即：

    

这些模型都可以通过广义线性模型得到。广义线性模型是把自变量的线性预测函数当作因变量的估计值。在机器学习中，有很多模型都是基于广义线性模型的，比如传统的线性回归模型，最大熵模型，Logistic回归，softmax回归，等等。今天主要来学习如何来针对某类型的分布建立相应的广义线性模型。

1. 广义线性模型

广义线性模型：广义线性模型是基于指数分布族(Exponential Family)，而指数分布族的原型如下：

    

其中，η是自然参数(Natural Parameter)，T(y)为充分统计量(Sufficient Statistic)，通常T(y)=y。

实际上，许多分布(如，高斯分布、指数分布、泊松分布、伽马分布灯)都属于指数分布族。所以，线性回归、逻辑回归等都是广义线性模型的特例，实际上，性分布中，y服从高斯分布那么广义线性模型为线性回归，y服从伯努利分布为逻辑回归。

在使用广义线性模型构建其他模型之前，首先有三个假设：

    (1) y|x; θ~ExpFamily；

    (2) 给定x，目标是输出期望E[T(y)|x]，得到h(x)= E[T(y)|x]；

    (3) η与x的关系是线性的，即：

        

1. 常见概率模型由广义线性模型的推导

(1) 高斯模型

高斯分布可以表示为：

    

    

高斯模型的自然参数与均值成线性分布，所以

    

(2) 伯努利模型

伯努利模型可以表示为：

    

其中，b(y)=1。

    

从而得到逻辑回归模型。带入a(η)可以得到：