概率的理解：概率的一种理解是频数的解释，比如投硬币，当投的次数无限多时，我们大概知道下次投出“head” 的概率。另外一种解释就是贝叶斯观点，就是衡量事情的不确定性。贝叶斯观点的好处在于，其不是基于重复事件的。而是基于先前的信息，来预测下一个事件发生的概率。
概率的基本性质在此略去，下面看看几种典型的概率分布：
高斯分布为什么使用最频繁：1，他的两个参数很好理解，能很好的解释分布中的两个重要的性质：均值和方差。2，中心极限定理表明独立随机变量的和近似为高斯分布，这个对误差或者噪声建模提供了有力的工具；3，高斯分布与最大熵有关；4，具有很简单的数学形式，很容易实现。
关于高斯的历史以及来历，有段有趣的历史，具体参考博客我爱自然语言。
中心极限定理：设随机变量X1，X2，... Xn相互独立且服从同分布，具有相同的期望和方差，则随机变量之和的标准化服从标准正态分布。