似然函数的定义
似然函数, likelihood function.
离散型随机变量的似然函数
假设离散随机变量(X)的分布率为(P(X=x)), 也可以写成(P(X=x| heta)), ( heta)是(X)决定所属分布的具体形式的参数(, 在最大似然估计中是未知的).样本集(D)中含有(m)个样本: ({x_1, x_2, dots, x_m}). 则(D)的似然函数为:
[L( heta|D) = prod_i^m P(X=x_i| heta)
]
连续型随机变量的似然函数
假设连续型随机变量(X)的概率密度函数为(f(x| heta)), 样本集(D)仍是(m)个样本: ({x_1, x_2, dots, x_m}). 则(D)的似然函数为:
[L( heta|D) = prod_i^m f(x_i|theta)
]
对似然函数的直观理解
- 在形式上, (D)的似然函数与它的联合分布率/联合概率密度函数是相同的. 但是前者是以参数( heta)为自变量, 后者是以(x_1, dots, x_m)为自变量.
- 因为离散型变量的分布率直接就是变量值出现的概率, 所以对相应的(D)来说, $L( heta|D) (的值就是)D(本身出现的概率)P(D| heta)$. 但连续型变量参加计算的是概率密度, 不是概率本身, 所以, (L( heta|D))不是(D)出现的概率.