损失函数基础知识总结
一、总结
一句话总结：
I、损失函数（loss function）是用来估量模型的预测值f(x)与真实值Y的不一致程度，
II、损失函数是一个非负实值函数,
III、损失函数通常使用L(Y, f(x))来表示，
IV、损失函数损失函数越小，模型的鲁棒性就越好。
1、损失函数、代价函数、目标函数是什么，以及对应的关系？
1、损失函数 Loss Function 通常是针对单个训练样本而言
2、代价函数 Cost Function 通常是针对整个训练集（或者在使用 mini-batch gradient descent 时一个 mini-batch）的总损失
3、目标函数 Objective Function 表示任意希望被优化的函数，用于机器学习领域和非机器学习领域（比如运筹优化）
4、A loss function is a part of a cost function which is a type of an objective function.
2、损失函数怎么来的？
a、损失函数是根据概率公式一步步推导得到的，也就是一步步推导出来是原来的式子得到极大值或者极小值。也就是要求到之前的极值，就要满足公式。
b、平方损失函数可以通过线性回归在假设样本是高斯分布的条件下推导得到
c、逻辑回归损失函数推导出来是交叉熵损失函数。
二、内容在总结中
转自或参考：