zoukankan      html  css  js  c++  java
  • 【笔记】Sigmoid函数

    Preface

    我们在高中的时候学习过,有一种曲线叫做 S型生长曲线
    还有一个叫做什么逻辑斯谛方程的东西
    生物学意义上,Logistic Equation 是指这样的一个微分方程:

    [frac{dN}{dt}=rNcdotleft(1-frac{N}{K} ight) ]

    里面几个字母分别是种群数量 (N)、时间 (t)、“种群增长潜力指数”(r) 和环境容纳量 (K)

    试着把这个微分方程解一下?


    Sigmoid Function

    总之呢。
    Sigmoid Function 是指:

    [egin{equation} sigma:mathbb R o(0,1)quad s.t.quadsigma(z)=frac{1}{1+e^{-z}} label{1} end{equation}]

    有一个特性:

    [sigma'(z)=frac{e^{-z}}{(1+e^{-z})^2}=sigma(z)cdot(1-sigma(z)) ]

    Sigmoid函数的图像(部分):



    Logit Function(Log Odds)

    The logit function is the inverse of the sigmoidal “logistic” function.

    对于某发生概率为 (p) 的事件,事件的几率(Odds)

    [frac{p}{1-p}inmathbb{R_+} ]

    事件的对数几率(Log Odds)

    [ell(p)=logfrac{p}{1-p}inmathbb{R} ]

    这样的话,就有

    [egin{equation} ell(\,P(y=1|oldsymbol x)\,)=oldsymbol{omega^dagger x} label{2} end{equation}]

    其中 (P(y=1|oldsymbol x)) 表示当输入为 (oldsymbol x) 时,实例被分到 (1) 类中的概率;
    (oldsymbolomega) 为权重向量。现在暂时先不确定它是什么。

    现在要搞分类。就是要由 (oldsymbol{omega^dagger x}) 得到 (ell(\,P(y=1|oldsymbol x)\,)) 得到 (P(y=1|oldsymbol x))
    (z=oldsymbol{omega^dagger x}) 就有 (z=ell(p)),由 (eqref{2}) 得到

    [p=ell^{-1}(z)=frac{1}{1+e^{-z}}=sigma(z) ]

    (eqref{1})

  • 相关阅读:
    P1182 数列分段`Section II` 二分
    洛谷 P1025 数的划分
    深浅拷贝
    数据的内置方法
    控制流程-if/while/for
    python的基本运算符
    花式赋值
    python的注释
    Python的垃圾回收机制
    变量与常量
  • 原文地址:https://www.cnblogs.com/ccryolitecc/p/13908025.html
Copyright © 2011-2022 走看看