zoukankan      html  css  js  c++  java
  • Frequentist 观点和 Bayesian 观点

    1. Frequentist view

    Frequentist approach views the model parameters as unknown constants(未知的常数,而不是一个变量,variable) and estimates them(参数估计) by matching the model to the training data using an appropriate metric (某个适当的准则,criterion)。

    比如对于,{(x⃗ i,yi)}Ni=1 训练数据给定,对其进行线性估计(linear regression):

    i=1N(yix⃗ Tiα⃗ )2

    通过最小二乘对 α 进行估计。频率学派,在统计的观点下,常用的模型是 MLE,最大似然估计。同样也可从 MLE 的角度,理解上述公式,yN(x⃗ Tα,σ2)=12πσexp((yx⃗ Tα)22σ2),则假定不同的 yi 是独立同分布的,则对于全部样本有:

    ΠNi=1(12πσ)Nexp((yix⃗ Tiα⃗ )2)

    最后取对数,再转化为最小化,和最小二乘形式是相同的。

    2. Bayesian 观点

    首先和频率派观点相同的是,模型是某一概率分布,也即服从,yN(x⃗ Tα,σ2),Bayesian 观点要再向前走一步,参数 α 为某一随机变量

    • 模型:生成数据,概率分布;(似然概率)
    • 参数:random variable,先验概率(prior);
      • αN(0,λ2)
      • σΓ()(必须为正值)

    后验 ∝ 先验 * 似然:

    p(α|X)p(α)p(X|α)

    • 点估计:MAP,最大后验估计;
    • 基于后验,做采样,称为贝叶斯分析;
  • 相关阅读:
    QT visual stuido 集成插件不能打开ui文件的解决方法(去掉xml的UTF8标记)
    就异地协作办公来说, 360的体验完爆他们——360书生企业云盘 来了
    MVC 4
    Mvc的多层架构
    代码生成器
    js理解
    我(webabcd)的文章索引
    多个视图结果显示于一个共用预览视图内
    .NET源码
    Using Ninject in a Web Application
  • 原文地址:https://www.cnblogs.com/mtcnn/p/9422507.html
Copyright © 2011-2022 走看看