LR（对数几率回归）
函数为(y=f(x)=frac{1}{1+e^{-(w^{T}x+b)}})。 由于输出的是概率值(p(y=1|x)=frac{e^{w^{T}x+b}}{1+e^{w^{T}x+b}},p(y=0|x)=frac{1}{1+e^{w^{T}x+b}})，所以求解使用极大似然估计来求解参数(w,b)。
为了方便表示，记(widehat{w}=(w;b),widehat{x}=(x;1))
写出似然函数$$prod_{i=1}{m}p(y=1|widehat{x}_{i},widehat{w}){y_{i}}p(y=0|widehat{x}{i},widehat{w})^{1-y{i}}$$
对数似然函数$$ l(widehat{w})=sum_{i=1}^{m}y_{i}ln p(y=1|widehat{x}{i},widehat{w})+(1-y{i})ln p(y=0|widehat{x}_{i},widehat{w})$$
[l(widehat{w})=sum_{i=1}^{m}y_{i}(widehat{w}^{T}widehat{x}_{i})-ln (1+e^{widehat{w}^{T}widehat{x}_{i}})
]
要让每个样本属于其真实值的概率越大越好，故对(-l(widehat{w}))最小化，由于(l(widehat{w}))是关于(widehat{w})的高阶可导连续函数，可用梯度下降法和牛顿法求解,最优解为$$widehat{w}^{*}=underset{widehat{w}}{arg min}-l(widehat{w})$$