logistic regression

cost function:

(J( heta)=frac{1}{m}sum_{i=1}^{m}Cost(h_ heta(x^{i}),y^{i}))

(Cost(h_ heta(x),y)=-ylog(h_{ heta}(x))-(1-y)log(h_{ heta}(x)))

(h_ heta(x)=frac{1}{1+e^{- heta^{T}.x}})

选择cost function的一个重要考虑是，选择的cost function必须是convex，这样很多求最优值的方法就能使用，比如gradient discent。

如果仿照linear regression的cost function，构建的logistic regression。

(Cost(h_ heta(x),y)=(h_{ heta}(x)-y)^{2})

这个cost函数是non-convex