Machine Learning --- Logistic Regression

一、两类Logistic回归（输出值[0,1]，预测的同时给出分类的概率，用于二分类）

目标y∈{0,1}服从Bernolli分布：

-log似然为：

，其中

(1)求解方法

一阶梯度下降公式：

法1：随机梯度下降：

若u(x),y∈{-1,1}，则是著名的Perceptron感知机算法，a为学习率：

法2：二阶梯度下降（牛顿法/切线法）

一阶梯度：将导数gw在w^t处二阶泰勒展开（其中H称为海塞矩阵）：

得：

因此迭代机制为：

法3：IRLS（迭代加权最小二乘）

，

目标是最小化：

，其中，

(2)加罚项（L2正则）

(3)贝叶斯Logistic回归（Laplace/高斯近似：当样本足够多时后验接近高斯分布）

先验：

似然：

后验p(w|D)用Laplace/高斯近似：

，，

二、多类Logistic回归(Softmax，解决方法同两类Logistic回归，用Softmax代替Sigmoid函数）

目标y∈{0,1,2,..}服从multiBernoulli分布：

Softmax函数：