Logistic Regression

逻辑回归模型：

　　want： 0 <= h_θ(x)<=1

　　h_θ(x) = g(θ^Tx)　　　　　//θ 注意有个θ₀  一般置1

　　g(z) = 1 / (1+e^-z)　　　　//sigmoid 函数

由sigmoid函数特性（2分类问题）：

def sigmoid(inX):
    return 1.0 /(1 + np.exp(-inX))

　　当θ^Tx>= 0 时，h_θ(x)>= 0.5 , 预测 y =1 ；

　　当θ^Tx< 0 时，h_θ(x)< 0.5 , 预测 y = 0 ；

ps: 可以改变阈值， 此处为0.5，取决于需要的置信度高低

决策边界：

　　θ^T.X == 0   对应上面阈值为 0.5     不一定是直线，看特征向量怎么选  平方 x1*x2

csot function:

　　J(θ) = 1/m Σ(-y log( h_θ(X) ) - (1 - y)log( 1 - h_θ(X) ))+ (λ /2m)∑_j=1ⁿ θ²_j　　　　//m为样本数  可进行向量化　　　　红色部分为正则项

目标：

　　min(J(θ))

　　使用梯度下降

　　Repeat:

　　　　θ_j := θ_j - α(Σ(h_θ(xⁱ) - yⁱ) x^i_j + (λ /m)θ_j)

　　　　注意： θ要“同时“赋值， 因为求下降的部分用到了 h_θ(xⁱ) 而h_θ(xⁱ)里面用到θ 

　　　　　　　　即是在山上一个位置同时对各个方向求偏导   如果不同时  那么 位置就变了

def gradDescent(dataMatIn, classLabels):
    dataMatrix = np.mat(dataMatIn)
    labelMat = np.mat(classLabels).transpose()
    m , n = np.shape(dataMatrix)
    alpha = 0.001
    maxCycles = 500
    weights = np.ones((n,1))
    for k in range(maxCycles):
        h = sigmoid(dataMatrix * weights)
        error = (h - labelMat)
        weights = weights - alpha * dataMatrix.transpose() *error
    return weights

优化：

　　overfit ：　　reduce  feature， bigger dataset，increase penalize parameter λ

　　underfit：　　increase feature, reduce penalize parameter λ

　　How to choose learning rate α ?

　　　　By iteration and draw the picture of cost function and times of iteration