zoukankan      html  css  js  c++  java
  • "模式识别与机器学习"读书笔记——2.1 Binary Variables

    从最简单的变量谈起——一位二进制变量(只有0/1两种值)。

    典型例子翻硬币,假设人头朝上的概率为u,作为这个模型的参数,则其概率分布为:

    这个分布也称Bernoullo distribution,期望方差为:

    如果有一组观察数据D={x1,x2,...,xn},则这组观察数据出现的概率为:

    选择u的依据就是,让上面这个概率最大化,方法还是那个取对数,再求导令其等于0,得到p最大时:

    所以如果测试数据中人头出现了m次,则

    此外,当给定一个u时,我们还可以求出关于m的概率分布,就是求出人头出现0次、1次、2次……N次得概率分别是多少。
    要点是需要normalize以下,保证归一性。

    人头出现m次得概率为:

    其中

    2.1.1 The beta distribution

    用前面那个方法会出现over=fitted问题,即如果三次银币都正面朝上,用上述方法判断,下次硬币一定也朝上,这不符合实际。

    采用的办法时引入prior distribution,相当于人为的调整了。

    这里引入的prior distribution是beta distribution:

    其中叫gamma function,是在上一章作业中出现的。

    注意这个beta distribution的形式与那个m的分布式一样的,都是,这叫做共轭性(conjugacy),这样prior,posterior,liklihood的形式就都一样了,无论是计算还是设想实际意义都更简单了。

    修正后的分布的求法就是把prior与上一节那个m分布式相乘,由于他们是共轭的,其实就是指数的叠加或图形的叠加,最终形式是:

    知道了u的概率后,如果想预测下一次翻硬币哪面朝上,方法为:

    用现有结论可以推出:

  • 相关阅读:
    git 删除远程文件、文件夹
    pod install太慢 可以使用代理的方式
    flutter Container()最小宽度 最小高度
    flutter common init 常用Widget初始化
    xcode 嵌入flutter_module后编译报错 This app could not be installed at this time.
    Spring AOP
    Spring @Value 配置项解析 vs Spring @ConfigurationProperties 配置项解析
    Spring Bean 的实例化过程
    SpringBoot 配置项解析
    Spring IOC 自动注入流程
  • 原文地址:https://www.cnblogs.com/plwang1990/p/2104112.html
Copyright © 2011-2022 走看看