学习网址：https://www.bilibili.com/video/av70839977?p=1
博客部分公式有格式问题：请前往语雀 https://www.yuque.com/leesamoyed/bvsayi/ztxu1d
假设:
(X:data
ightarrow X= (x_1,x_2,...,x_N)^T_{N*p} quad
heta:parameter=
egin{gathered}
egin{pmatrix}
x_{11} & x_{12} & ... & x_{1p}
\ x_{21} & x_{22} & ... & x_{2p}
\ ... & ... & ... & ...
\ x_{n1} & x_{n2} & ... & x_{np}
end{pmatrix}
end{gathered})
(x sim p(x| heta))
频率派：
( heta)：未知变量，(X)：r.v，实际上关心的是数据，需要将未知常量( heta)给估计出来，方法：( heta_{MLE} = argmaxlog P(X| heta))（其中l(log)是为了简化计算）
贝叶斯派：
( heta)：r.v，( heta sim p( heta))，其中(p( heta))称为先验，
利用贝叶斯定：(P( heta | X) = frac {P(X | heta) cdot P( heta)} {P(X)})，其中(P( heta | X))是后验，(P(X | heta))是似然，(P( heta))是先验，(P(X))是一个积分（离散为连加）(int_{ heta} P(X| heta)P( heta)d heta)
( heta_{MAP}=argmax _ heta P( heta | X) = argmax_ heta P(X| heta) cdot p( heta))
(p( heta | X) = frac {p(X| heta) cdot p( heta)}{int_{ heta} p(X| heta)p( heta)d heta})
(X)，假如来了新样本：(mathop x limits^ sim)，预测问题就是求 $$p(mathop x limits^ sim | X) = int p(mathop x limits^ sim , heta | X)d heta (（边缘概率）)= int p(mathop x limits^ sim |X)p( heta | X)d heta$$（后验概率）
理解：
贝叶斯（求积分问题MCMC）->概率图模型：求积分：Monte、Carlo Method
频率派（优化问题）->统计机器学习：①模型 ②loss function ③算法 （解loss function）