看这个模型很久了,可能一直深入的不够,现把自己的一点愚见不断的贴上来,一起交流,共同进步。
贝叶斯非参数模型是一种定义在无限维参数空间上的贝叶斯模型。其大概的意思是说非参数模型的大小可以随着模型内数据的增大或减小而自适应模型的变化,可以根据数据的多少选择参数来确定模型(这一定义的直观解释参考PRML figure 2.5)。正如天下没有免费的午餐一样,非参数模型也需要假设参数的,跟以往参数模型不同之处在于这个非参数模型只需要一个很小的假设就能够学习数据并进行聚类,不断增加的数据也能够不断的被聚集到相应的类中;同时,这个模型的还具备预测的功能,根据具体的学习问题可以选择能与这个问题的相关的所有的参数构成的空间数据模型进行解决。比如,在回归问题中,参数空间能够由所有的连续函数构成;又如在密度函数估计中参数空间可由所有的密度函数构成。简言之,就是只要你能找到的,能对解决目标问题有帮助的参数信息,所有的信息都可以一起用来组建模型。既然参数都能被用上,是不是在无限的增加模型的复杂度呢?其实,非参数模型可利用的参数维数中的有限的子数组来解释有限的样本观察量,维数的选择取决于样本的分布情况,这样模型(样本分布决定其维数)的复杂度就可以自适应于数据。
非参数的分析及模型选择,主要要归结到贝叶斯推断问题中(INFERENCE).当前较为流行的贝叶斯非参数模型包括高斯回归过程,这个是结构的变化随着样本的变化而不断发生变化。还有一个用的较多的狄里克雷混合过程用于解决clustering,它将新来的数据不断的分到相应的clustering中去。机器学习的一些典型问题,如回归Regression,分类classification(supervised),分簇clustering(unsupervised),潜在语义模型latent variable modeling,序列模型sequential modeling,图像分割image segmentation,source separation and grammar induction等等,这些问题决都可引入贝叶斯非参数模型,所以这个模型可以谈的上是一个应用较广的模型。
非参数模型下的聚类问题.可以根据概率模型和先验信息,找出似然函数,再得到隐含参数的后验分布。非参数模型中的层次化的狄利克雷模型(Hierarchical Dirichlet Process,HDP)主要采用中餐馆示例形象的与之对应,中餐馆应用于聚类的两种不同阐述如下:
A.中餐馆(CRP)聚类过程形象的引入Dirichlet process进行Gibbs抽样进行描述;
b.CRP可以认做是DP mixture model 下 先验分布对数据聚类产生的影响,即利用已经在餐桌上人对菜的偏好,对新进入中餐馆的客人进行指引,分配在相应的餐桌上。
这两种说法 b是公认的中餐馆描述,对于说法a,大家是一种啥看法呢?
另外,推荐大家参考 MIT 毕业的大牛Erik Sudderth 的博士论文 ,博士论文的前面章节很系统的讲述的概率图模型的原理,后几章是图模型在机器视觉里的具体应用,其主页 http://cs.brown.edu/~sudderth/ .
参考文献:
http://blog.csdn.net/workerwu/article/details/8131009