逻辑回归Logistic Regression
模型
[P(Y=1|x)=frac{1}{1+e^{-(wcdot{x}+b)}}
]
参数估计
使用极大似然估计
[egin{equation}
egin{aligned}
L(w) &= Pi_{i=1}^Nsigma(z)^{y_i}(1-sigma(z))^{1-y_i} \
&Rightarrow^{取对数} Sigma^{N}_{i=1} y_ilogsigma(z)+(1-y_i)log(1-sigma(z)) \
&=Sigma_{i=1}^Ny_ilogfrac{sigma(z)}{1-sigma(z)}+log(1-sigma(z)) \
&= Sigma_{i=1}^Ny_iz+log(1-sigma(z)) \
&其中，z=wcdot x，w=(x^{(1)},x^{(2)},...,x^{(k)},b)
end{aligned}
end{equation}]
对(L(w))求极大值，得到(w)的估计值。
问题
- 逻辑回归是分类模型，为什么叫逻辑“回归”？
某事件的几率指该事件发生的概率与不发生的概率之间的比值，则该事件的对数几率logit表示为(logit(p)=logfrac{p}{1-p})。针对逻辑回归而言,(logit(p) = wcdot{x}+b),所以输出(Y=1)的对数几率是由输入(x)的线性函数表示的模型，即逻辑回归模型。另一方面，逻辑回归模型将对数几率转换为概率。【感知机是使用阈值作为分类间隔；逻辑回归是转换为概率】 - 逻辑回归与线性回归的区别与联系？
区别：在逻辑回归中，(y)因变量为离散值；在线性回归中，(y)为连续值。即，逻辑回归为分类模型，而线性回归为回归模型。
联系：- 两者同属于广义线性模型。逻辑回归的假设条件为(P(y|x; heta) sim Bernoulli(phi))；线性回归在使用最小二乘法求解时，假设条件为(P(y|x; heta) sim N(mu,sigma^2))；
- 两者都可以使用梯度下降法求解最佳参数。
广义线性模型(Generalized Linear Models)
成立条件
- (p(y|x; heta) sim 指数族分布)
- (h_ heta(x) = E[y|x; heta])
- 参数(eta)与输入(x)是线性相关的
指数族分布
(p(y;eta) = b(y)exp(eta^TT(y)-a(eta))，其中eta是自然参数，T(y)是充分统计量)
- 逻辑回归为什么使用交叉熵而不是用平方误差作为损失函数(MSE)？
(frac{partialsigma(x)}{partial x} = sigma(x)(1-sigma(x))，当x=0时，取最大值0.25。) 当使用平方误差作为损失函数时，求得的梯度值会很小（梯度含有(frac{partialsigma(x)}{partial x})），误差反向传播不易快速收敛；使用交叉熵作为损失函数时，梯度不含(frac{partialsigma(x)}{partial x})，可以快速求的最优值。 - 逻辑回归为什么使用Sigmoid函数？
由于最大熵原理的性质，指数族分布是给定某些统计量下熵最大的分布。例如，伯努利分布就是只有两个取值且给定期望为(phi)的最大熵分布。所以根据广义线性模型的定义，逻辑回归模型
[egin{equation}
egin{aligned}
h_{ heta}(x) &= E[y|x; heta] \
&=phi \
&=frac{1}{1+e^{-eta}} \
& = frac{1}{1+e^{-w cdot x}}
end{aligned}
end{equation}
]
最大熵原理：学习概率模型时，在所有可能的概率模型分布中，熵最大的模型是最好的模型。通俗来讲，最大熵模型在满足已有事实的情况下（约束条件）下，在没有更多信息的情况下，认为不确定的部分是等可能的。
- 为什么逻辑回归的目标函数是凸函数？
如果证明某单变量函数(f(x))为凸函数，只需证明(frac{partial^2{f(x)}}{partial(x)partial(x)} geq 0)。所以对于逻辑回归的目标函数，其自变量为向量形式，则需要证明所有二阶偏导数组成的矩阵Hessian黑塞矩阵为半正定矩阵即可。
凸函数定义 (f(frac{x_1+x_2}{2}) leq frac{f(x_1)+f(x_2)}{2}，即求得的局部最优极为全局最优。)