zoukankan      html  css  js  c++  java
  • Logistic Regression 笔记与理解

    Logistic Regression 笔记与理解

    Logistic Regression

    Hypothesis 记为 H(theta)

    H(theta)=g(z)
    当中g(z),是一个叫做Logistic Function的函数。g(z)函数定义例如以下:
    image
    相应图像例如以下:
    image
    这是一个值域为0~1的s型函数,在理解中能够觉得:
    落在曲线上的随意一点A
    A的横坐标相应的纵坐标值是z參数,或者说z对象属于“1”的概率。
    在Logistic Regression中

    g(z)的參数z为:

    一个线性或非线性函数的向量化表示
    这个函数相应的图像被称作决策边界
    两种决策边界的样例:
    线性:
    image
    非线性:
    image
    为了方便,下面我们仅仅讨论线性边界的情况
    线性边界的表示为
    X’*theta
    image
    所以Logistic Regression Hypothesis 定义例如以下:
    image
    如上所说,Hypothesis定义了结果取1的概率,因此对于输入x分类结果为类别1和类别0的概率分别为:
    image
    以上是Logistic Regression Hypothesis 的理解

    Logistic Regression Cost Function 记为 J(theta)

    Cost 的主要功能是计算H(theta)和答案Y的差距,在线性回归中这个差距能够用方差解决。可是Logistic问题仅仅有+-两种答案,所以Logistic Regression的Cost函数应该是这种:
    image
    整合为一个函数
    image
    我们便得到了Logistic Regression的Cost Function。

    接下来就是求解Cost Function最小值的方法-梯度下降

    或使用Matlab 内建miniziae函数

  • 相关阅读:
    三周#学习进度总结
    四则运算(修改版)
    是否需要有代码规范?
    结对项目:代码复审+PSP
    二周#学习进度总结
    GitHub注册流程(中英对比)
    四则运算:我的设计和设想(未完成版)
    Spring4总结
    Hibernate5总结
    Struts2总结
  • 原文地址:https://www.cnblogs.com/slgkaifa/p/7221584.html
Copyright © 2011-2022 走看看