一、两类Logistic回归（输出值[0,1]，预测的同时给出分类的概率，用于二分类）
目标y∈{0,1}服从Bernolli分布：
-log似然为：
，其中
(1)求解方法
一阶梯度下降公式：
法1：随机梯度下降：
若u(x),y∈{-1,1}，则是著名的Perceptron感知机算法，a为学习率：
法2：二阶梯度下降（牛顿法/切线法）
一阶梯度：将导数gw在wt处二阶泰勒展开（其中H称为海塞矩阵）：
得：
因此迭代机制为：
法3：IRLS（迭代加权最小二乘）
，
目标是最小化：
，其中
，
(2)加罚项（L2正则）
(3)贝叶斯Logistic回归（Laplace/高斯近似：当样本足够多时后验接近高斯分布）
先验：
似然：
后验p(w|D)用Laplace/高斯近似：
，
，
二、多类Logistic回归(Softmax，解决方法同两类Logistic回归，用Softmax代替Sigmoid函数）
目标y∈{0,1,2,..}服从multiBernoulli分布：
Softmax函数：
