Preface
我们在高中的时候学习过,有一种曲线叫做 S型生长曲线
还有一个叫做什么逻辑斯谛方程的东西
生物学意义上,Logistic Equation 是指这样的一个微分方程:
[frac{dN}{dt}=rNcdotleft(1-frac{N}{K}
ight)
]
里面几个字母分别是种群数量 (N)、时间 (t)、“种群增长潜力指数”(r) 和环境容纳量 (K)。
试着把这个微分方程解一下?
Sigmoid Function
总之呢。
Sigmoid Function 是指:
[egin{equation}
sigma:mathbb R o(0,1)quad s.t.quadsigma(z)=frac{1}{1+e^{-z}} label{1}
end{equation}]
有一个特性:
[sigma'(z)=frac{e^{-z}}{(1+e^{-z})^2}=sigma(z)cdot(1-sigma(z))
]
Sigmoid函数的图像(部分):
![](https://img2020.cnblogs.com/blog/2171513/202010/2171513-20201031223013076-1605461122.jpg)
Logit Function(Log Odds)
The logit function is the inverse of the sigmoidal “logistic” function.
对于某发生概率为 (p) 的事件,事件的几率(Odds):
[frac{p}{1-p}inmathbb{R_+}
]
事件的对数几率(Log Odds):
[ell(p)=logfrac{p}{1-p}inmathbb{R}
]
这样的话,就有
[egin{equation}
ell(\,P(y=1|oldsymbol x)\,)=oldsymbol{omega^dagger x} label{2}
end{equation}]
其中 (P(y=1|oldsymbol x)) 表示当输入为 (oldsymbol x) 时,实例被分到 (1) 类中的概率;
(oldsymbolomega) 为权重向量。现在暂时先不确定它是什么。
现在要搞分类。就是要由 (oldsymbol{omega^dagger x}) 得到 (ell(\,P(y=1|oldsymbol x)\,)) 得到 (P(y=1|oldsymbol x))
令 (z=oldsymbol{omega^dagger x}) 就有 (z=ell(p)),由 (eqref{2}) 得到
[p=ell^{-1}(z)=frac{1}{1+e^{-z}}=sigma(z)
]
即 (eqref{1})。