损失函数

交叉熵损失函数Cross Entropy Error Function

1. 二分类表达式

   

其中：

• y——表示样本的label，正类为1，负类为0

• p——表示样本预测为正的概率

  (y=1)时，对应的(p)越大则(-log(p))越小，即损失越小

  同理 ，(y=0)时，(p)越小，(-log(1-p))越小，即损失越小

  eg: (target=1),预测([0.6,0.4]),(L=-[1*log(0.6)]+0])

2. 多分类

   多分类的情况实际上就是对二分类的扩展：

   

   其中：
   - ——类别的数量；
   - ——指示变量（0或1）,如果该类别和样本的类别相同就是1，否则是0；
   - ——对于观测样本属于类别 的预测概率。

   现在我们利用这个表达式计算上面例子中的损失函数值：

   模型1：
   

   模型2：

   

可见，交叉熵损失函数只关注某一类别的信心最大概率，为0的概率不计算