概率论的一些基础知识
条件概率
(P(B|A) = frac{1}{3}) 表示的意思为当A发生的时候，B发生的概率
有公式
[P(B|A) = frac{P(AB)}{P(A)}
]
[P(AB) = P(B|A)*P(A)=P(A|B)*P(B)
]
[P(A|B) = frac{P(B|A)*P(A)}{P(B)}
]
全概率公式
(B_1,B_2,B_3)……(B_n) 为样本空间的S的一个划分则可以得到
(P(A) = P(B_1)P(A|B_1) + P(B_2)P(A|B_2)+…… P(B_n)P(A|B_n)= sum_{i=0}^{n} P(B_i)P(A|B_i))
贝叶斯公式
[P(B_i|A) = frac{P(A|B_i)*P(B_i)}{sum_{i=0}^{n}$P(A|B_i)}
]
关于贝叶斯公式的几个理解和解释
[P(A|B) = frac{P(B|A)*P(A)}{P(B)}
]
其中P(A)的概率为先验概率，这个在机器学习中通常指的是某个分类出现的概率>
P(B|A)为条件概率，就是在A类中B发生的概率
P(A|B)为后验概率，具体指的含义为：当B事件发生了，这个时候来自A分类的概率是多少。
极大似然估计 maximum-likelihood
原理
利用已知的样本结构，去反推最大可能导致这样结果的参数值。极大似然估计是建立在极大似然原理的基础上的一个统计方法，是概率论在统计学中的应用。极大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。通过若干次试验，观察其结果，利用试验结果得到某个参数值能够使样本出现的概率为最大，则称为极大似然估计。
由于样本集中的样本都是独立同分布，可以只考虑一类样本集D，来估计参数向量θ。记已知的样本集为：$$D={ x_1,x_2,x_3,……x_n }$$
[l( heta)=p(D| heta)=p(x_1,x_2,x_3……x_N| heta )=prod_{i=1}^{n}P(x_i| heta)$$ 就是D的似然函数
## ML 中如何求极大似然函数
求使得出现该组样本的概率最大的θ值。
$$ hat{ heta}=argmax l( heta)=argmaxprod_{i=1}^{N}P(x_i| heta)]
简单的理解，我们就是在已知是( heta) 发生的情况下让D序列出现的概率最大。而连乘不太好计算。我们可以做一下改变。
[hat{ heta}=argmax l( heta)=argmaxprod_{i=1}^{N}P(x_i| heta) = argmax (ln(prod_{i=1}^{N}P(x_i| heta)))= argmax sum_{i=1}^{N}ln(P(x_i| heta))
]