Sigmoid Function
[sigma(z)=frac{1}{1+e^{(-z)}}
]
feature:
- axial symmetry：
[sigma(z)+ sigma(-z)=1
]
- gradient:
[frac{partialsigma(z)}{partial z} = sigma(z)[1-sigma(z)]
]
由性质1 可知，
[frac{partialsigma(z)}{partial z} = sigma(z) sigma(-z)
]
Logistic Function
[sigma(x; heta)= frac{1}{1+e^{- heta x}}
]
首先我们考虑 (2) 分类问题, 所以(f(x))的值域也是 ([-1,1])。
[P(y=1|x, heta) = sigma(x)
]
即对于给定的样本(x)，其属于类别 (1) 的概率是 (f(x))。则属于类别 (-1) 的概率是
[P(y=-1 | x, heta) = 1-sigma(x)= sigma(-x)
]
上述概率也可以写作:
[P(y | x, heta) = left{egin{split}sigma(x),~~~~y=1 \ sigma(-x),y=-1 end{split}
ight.
]
代价函数的形式是：
[mathcal{l}( heta) = frac{1}{n} sum_{i=1}^{n} log sigma(y_i x_i)
]
Note
- 之所以记 (yin [-1,1]) 而不是 (y in [0,1])，因为前者能简化计算公式，不需要再做分类计算了。
- 如果采用 (y in [0,1]), 那么我们的代价函数就变成了：
[mathcal{l}( heta) = frac{1}{n} sum_{i=1}^{n} y_i log sigma(x_i) + (1-y_i) log (1-sigma(x_i))
]
详情请参见： [Logistic Regression分类器]（http://www.cnblogs.com/guyj/p/3800519.html）