1. 建模
对原始信号 X 进行观测,观测可以抽象为(离散:PY|X(y|x), 连续:fY|X(y|x)),物理世界噪声的存在,将导致观测到的 X 出现一定的噪声,记为 Y:
X⇒fY|X(y|x)⇒Y
对于推断(inference)问题而言,我们更多的是考虑如何从 Y 获取原始的无噪信号 X:
Y⇒fX|Y(y|x)⇒X
注意,原始信号 X 离散的,并不意味着其观测值也是离散的:
{X=0,1Y=X+W
而 W 是高斯噪声。这种由离散信号因为高斯噪声(连续概率分布)的存在而最终得到连续的观察值,大量的见于通信和信号处理专业。
对于离散 X,和连续型 Y,则会有:
PX|Y(y|x)=PX(x)fY|X(y|x)fY(y)
证明如下:
P(X=x,y≤Y≤y+δ)==P(X=x)P(y≤Y≤y+δ∣∣X=x)P(y≤Y≤y+δ)P(X=x∣∣y≤Y≤y+δ)
将其转化为连续的形式则有变为:
P(X=x,y≤Y≤y+δ)==P(X=x)⋅fY|X(y|x)⋅δf(Y=y)⋅δ⋅PX|Y(x|y)
该等式便完成了 pdf 和 pmf 的连接,其中 X 为离散型原始数据,Y 为连续型观测值。
2. 贝叶斯规则
PX(x)PY|X(y|x)=PX,Y(x,y)=PY(y)PX|Y(x|y)⇓PX|Y(x|y)=PX(x)PY|X(y|x)PY(y)
3. 导出分布