神经网络(8)---如何求神经网络的参数：cost function的表达

两种分类问题: binary & multi-class

下面的是两种类型的分类问题(一种是binary classification,一种是multi-class classification)

如果是binary classification的分类问题，则output layer只有一个结点（1 output unit, S_L =1）,h_Θ(x)为一个real number,K=1(K表示在output layer的结点数)。

Multi-class classification(有k个类别): h_Θ(x)为一个K维的向量，S_L =K,一般来说K>=3(因为如果有两个分类的话，我们不必要使用one-vs-all method，使用binary classification就行，只需要一个output unit).

Neural network的cost function

神经网络中的cost function与我们之前介绍的一般的logistic regression问题类似，所不同的是，将K个类进行了累加，h_Θ(x⁽ⁱ⁾)_k 是K维向量的第k个元素,后面的那个regularized term,则将所有的Θ进行了累加(除了bias unit上面的Θ)，与我们之前介绍的logistic regression不对Θ₀进行regularization类似的道理.