模型误差

目录

• 模型误差
  • 偏差 (Bias)
  • 方差(Variance)
  • 偏差和方差

---

模型误差

模型误差 = 偏差(Bias) + 方差(Variance) + 不可避免的误差

---

偏差方差权衡
Bias Variance Trade off

---

偏差 (Bias)

导致偏差的主要原因：对问题本身的假设不正确!
如：非线性数据 使用线性回归
欠拟合

---

方差(Variance)

数据的一点点扰动都会较大地影响模型。模型没有完全的学习到问题的实质，而学习到了很多噪音。
通常原因：使用的模型太复杂。
如：高阶多项式回归。
过拟合。

---

偏差和方差

有一些算法天生是高方差的算法。如kNN。
非参数学习通常都是高方差算法。因为不对数据进行任何假设

有一些算法天生是高偏差算法。如线性回归。
参数学习通常都是高偏差算法。因为堆数据具有极强的假设。

大多数算法具有相应的参数，可以调整偏差和方差;
如kNN中的k，线性回归中使用多项式回归。

---

偏差和方差通常是矛盾的。

• 降低偏差，会提高方差。
• 降低方差，会提高偏差。

---

在算法层面，机器学习的主要挑战，来自于方差。解决高方差的通常手段:

1. 降低模型复杂度
2. 减少数据维度;降噪
3. 增加样本数
4. 使用验证集
5. 模型的正则化

---