为了评估模型拟合的好坏，通常用损失函数（觉得严格来说相当于下面的目标函数）来度量拟合的程度。损失函数极小化，意味着拟合程度最好，对应的模型参数即为最优参数。
每一个算法都有一个目标函数（objective function），算法就是让这个目标函数达到最优。对于分类的算法，都会有对错。错了就会有代价，或者说是损失。分类算法的目标就是让它错的最少，也就是代价最小。
损失函数又叫误差函数（预测值与真实值之间的误差），用来衡量算法的运行情况。损失函数只适用于衡量算法在单个训练样本中的表现。它主要是配合反向传播使用的，为使得在反向转播中可以找到最小值，所以损失函数必须是可导的。
但是我们需要衡量算法在全部训练样本上的表现，这就需要我们定义一个代价函数（又称成本函数），代价函数是m个损失函数求和再除以m。
代价函数再加上正则项或者别的什么优化项就叫目标函数。