zoukankan      html  css  js  c++  java
  • 逻辑回归

    y是连续的则是一个回归问题,y是离散的则是一个分类问题,这边就开始考虑y是离散的情况。

    对于这样的问题很多,比如判断一个人是否生病,或者判断一个邮件是否是垃圾邮件。

    回归时连续型的,一般不用在上述的分类问题中,因为其受噪音的影响比较大,如果要把一个回归方法用到分类上的话,那就是logistic回归。之所以叫其回归,因为其本质上还是线性回归,只是在特征到结果中加了一层函数映射。

    对于这边也就是使用一个g(z)将连续的值映射到0跟1上面。

    下面就是将线性clip_image002带入到g(z)中。

    clip_image004

    则可以得到:

    clip_image006

    对于我们考虑的问题是将连续的问题离散化,下面就带来两个问题,到底怎么做,还有就是为什么使用这个g(z)呢。至于为什么使用这个函数的时候作者后面讲到一般线性模型的时候说明,那下面就先看一看下面怎么做。

    clip_image008

    我们看这个g(z),我们会发现当clip_image010,g(z)趋向于1,clip_image012,g(z)趋向于0

    这样我们就有clip_image014在0到1之间,下面我们就假设clip_image014[1]为y取1时候的概率。我们假设该事件服从0,1分布,这边也可以是其他分布,不过有点复杂,则

    clip_image016

    也就是再x的条件下,y只能取0跟1,θ是参数。写成一般形式为

    clip_image018

    下面我们假设m的训练数据相互独立,则我们下面求最大似然估计,也就是求最能服从0,1分布的时候θ的值。(不知道这样理解对不对)

    好,那下面求最大似然估计,对于m个训练值

    clip_image020

    clip_image022

    那么,我们也就是要求这个的最大值,使用了梯度下降法。

    下面跟之前一样,假设只有一个训练数据。

    clip_image024

    clip_image026

    最终得到

    clip_image028

    下面如果我们是矩阵处理

    则θ := θ +α*X转置*(y-h)

  • 相关阅读:
    nmap 查看内网存活主机
    msf ms17_010 port:445
    nmap 检测ms17-010 port:445
    msf mysql port:3306
    msf ssh port:22
    Wireshark的两种过滤器与BPF过滤规则
    Wireshark使用记录
    过滤搜索引擎的抓取数据
    WEB容器开启、关闭OPTIONS方法
    代码泄露到Github
  • 原文地址:https://www.cnblogs.com/fengbing/p/3518684.html
Copyright © 2011-2022 走看看