逻辑斯谛回归
逻辑斯谛回归模型和最大熵模型都是对数线性模型。
逻辑斯谛分布
设(X)是随机变量
二项式逻辑斯谛回归模型
[p(Y=1|x)=frac{exp(wcdot x+b)}{1+exp(wcdot x+b)}
]
对于二分类有
[P(y|x)={h_{ heta}(x)}^y{(1-h_{ heta}(x))}^{(1-y)}
]
对数损失函数
[L(Y,P(Y|X)) = -log(P(Y|X))
]
[cost(h_{ heta}(x),y) = -log(p(y|x))
]
(L) 越小，说明 (P(Y|X)) 越大。
所以逻辑斯谛回归的损失函数如下：
[operatorname{L}left(h_{ heta}(x), y
ight)=frac{1}{m}sum_{i=1}^{m}-y_{i} log left(h_{ heta}(x)
ight)-left(1-y_{i}
ight) log left(1-h_{ heta}(x)
ight)
]
[J(w) = -frac{1}{m}sum^m_{i=1}{y_i(wcdot x_i)-log(1+exp(wcdot x_i)}
]
参数求解
使用梯度下降法：
[frac{delta}{delta_{ heta_{j}}} J(w)=-frac{1}{m}sum^m_{i=1}y_ix_i-frac{x_iexp(wx_i)}{1+exp(wx_i)}
]
[w = w-alphafrac{delta}{delta_{ heta_{j}}} J(w)
]