定义： 用来估量模型的预测值f(x)与真实值Y的不一致程度，损失函数越小，模型的鲁棒性越好。损失函数是经验风险函数的核心部分，也是结构风险函数的重要组成部分。 模型的结构风险函数包括了经验风险项和正则项， 表示形式：
公式中前一部分为经验风险函数，L代表的是损失函数，后面的
是正则化项（L1，L2 或其他正则函数）。整个公式的目的是找到使目标函数最小的theta值。
1） logistic回归
将hypothesis映射到0和1之间。
对logistics 函数求导：
2） 损失函数
【1】 平方损失函数：
【2】绝对值损失函数
【3】对数损失函数
在逻辑回归中，采用对数损失函数。
在逻辑回归中，假设样本服从伯努利分布（0-1），然后求得该分布的似然函数，最终求该似然函数的极大值。求对数只是为了方便MLR过程。
逻辑回归的对数损失函数：
当y=1，假定样本为正类，
，则损失为0，如果
，即为
损失->无穷。
当y为0或1时，损失函数可以表示为：
3）softmax
softmax 分类器，用于多类分类，计算每一类的概率
softmax计算公式：
softmax-loss计算公式：
