逻辑斯谛回归

逻辑斯谛回归

逻辑斯谛回归模型和最大熵模型都是对数线性模型。

逻辑斯谛分布

设(X)是随机变量

二项式逻辑斯谛回归模型

[p(Y=1|x)=frac{exp(wcdot x+b)}{1+exp(wcdot x+b)} ]

对于二分类有

[P(y|x)={h_{ heta}(x)}^y{(1-h_{ heta}(x))}^{(1-y)} ]

对数损失函数

[L(Y,P(Y|X)) = -log(P(Y|X)) ]

[cost(h_{ heta}(x),y) = -log(p(y|x)) ]

(L) 越小，说明 (P(Y|X)) 越大。

所以逻辑斯谛回归的损失函数如下：

[operatorname{L}left(h_{ heta}(x), y ight)=frac{1}{m}sum_{i=1}^{m}-y_{i} log left(h_{ heta}(x) ight)-left(1-y_{i} ight) log left(1-h_{ heta}(x) ight) ]

[J(w) = -frac{1}{m}sum^m_{i=1}{y_i(wcdot x_i)-log(1+exp(wcdot x_i)} ]

参数求解

使用梯度下降法：

[frac{delta}{delta_{ heta_{j}}} J(w)=-frac{1}{m}sum^m_{i=1}y_ix_i-frac{x_iexp(wx_i)}{1+exp(wx_i)} ]

[w = w-alphafrac{delta}{delta_{ heta_{j}}} J(w) ]