zoukankan      html  css  js  c++  java
  • Frequentist 观点和 Bayesian 观点

    1. Frequentist view

    Frequentist approach views the model parameters as unknown constants(未知的常数,而不是一个变量,variable) and estimates them(参数估计) by matching the model to the training data using an appropriate metric (某个适当的准则,criterion)。

    比如对于,{(x⃗ i,yi)}Ni=1 训练数据给定,对其进行线性估计(linear regression):

    i=1N(yix⃗ Tiα⃗ )2

    通过最小二乘对 α 进行估计。频率学派,在统计的观点下,常用的模型是 MLE,最大似然估计。同样也可从 MLE 的角度,理解上述公式,yN(x⃗ Tα,σ2)=12πσexp((yx⃗ Tα)22σ2),则假定不同的 yi 是独立同分布的,则对于全部样本有:

    ΠNi=1(12πσ)Nexp((yix⃗ Tiα⃗ )2)

    最后取对数,再转化为最小化,和最小二乘形式是相同的。

    2. Bayesian 观点

    首先和频率派观点相同的是,模型是某一概率分布,也即服从,yN(x⃗ Tα,σ2),Bayesian 观点要再向前走一步,参数 α 为某一随机变量

    • 模型:生成数据,概率分布;(似然概率)
    • 参数:random variable,先验概率(prior);
      • αN(0,λ2)
      • σΓ()(必须为正值)

    后验 ∝ 先验 * 似然:

    p(α|X)p(α)p(X|α)

    • 点估计:MAP,最大后验估计;
    • 基于后验,做采样,称为贝叶斯分析;
  • 相关阅读:
    使用公钥登录SSL
    javascript看你能够做对几题
    windows 与fedora时间差
    Linux 启动直接进入 console,
    fedora -- java多版本切换
    fedora 解决yumBackend.py进程CPU占用过高
    fedora 禁止nouveau加载
    联邦学习中的隐私研究
    优秀博客链接
    【论文学习11】GIANT: Globally Improved Approximate Newton Method for Distributed Optimization
  • 原文地址:https://www.cnblogs.com/mtcnn/p/9422508.html
Copyright © 2011-2022 走看看