损失函数

定义： 用来估量模型的预测值f(x)与真实值Y的不一致程度，损失函数越小，模型的鲁棒性越好。损失函数是经验风险函数的核心部分，也是结构风险函数的重要组成部分。 模型的结构风险函数包括了经验风险项和正则项， 表示形式：

　　公式中前一部分为经验风险函数，L代表的是损失函数，后面的是正则化项（L1，L2 或其他正则函数）。整个公式的目的是找到使目标函数最小的theta值。

1） logistic回归

   将hypothesis映射到0和1之间。

   对logistics 函数求导：

2） 损失函数

   【1】 平方损失函数：

         

    【2】绝对值损失函数

           

     【3】对数损失函数

                

      在逻辑回归中，采用对数损失函数。

     在逻辑回归中，假设样本服从伯努利分布（0-1），然后求得该分布的似然函数，最终求该似然函数的极大值。求对数只是为了方便MLR过程。

逻辑回归的对数损失函数：

       

         当y=1，假定样本为正类，，则损失为0，如果，即为

损失->无穷。

当y为0或1时，损失函数可以表示为：

    

 3）softmax

     softmax 分类器，用于多类分类，计算每一类的概率

    softmax计算公式：

    

    softmax-loss计算公式：