偏差，方差以及两者权衡
偏差是由模型简化的假设，使目标函数更容易学习。
一般来说，参数化算法有很高的偏差，使它们学习起来更快，更容易理解，但通常不那么灵活。反过来，它们在复杂问题上的预测性能更低，无法满足算法偏差的简化假设。
Decision trees是低偏差算法的一个例子，而linear regression则是高偏差算法的一个例子。
如果使用不同的训练数据，则目标函数的估计值会发生变化。通过机器学习算法对训练数据估计目标函数，所以我们希望算法有一定的方差，而不是零方差。
K-Nearest Neighbors algorithm是高方差算法的一个例子，而Linear Discriminant Analysis则是一个低方差算法的例子。
任何预测建模机器学习算法的目标都是实现低偏差和低方差。同时，该算法也要能实现良好的预测性能。机器学习算法的参数化通常是一场平衡偏差和方差的战斗。
- 增加偏差会减少方差。
- 增加方差会降低偏差。
参考【机器学习模型在生产中表现不佳？问题可能出在这 9 个地方】：
偏差方差问题 是一种试图使两种误差源同时达到最小化的冲突，这两个误差源使得监督机器学习算法不能在训练集之外进行泛化。
高偏差和低方差的模型对目标函数有更多的形式假设，而高方差和低偏差的模型对训练数据集进行过度学习。
低偏差 和 高方差 机器算法的例子：决策树、k- 最近邻和支持向量机。
高偏差 和 低方差 机器学习算法的例子：线性回归、线性判别分析和逻辑回归。
为了得到最佳拟合模型，应该对模型的参数进行调整，使其在生产中表现最佳。