逻辑回归——分类算法

逻辑回归模型

　　如何定义h_θ(x)，使得0≤h_θ(x)≤1

令

[{h_ heta }(x) = gleft( {{ heta ^T}x} ight)]

其中g(x)称为Sigmoid function或logistic function

[gleft( z ight) = frac{1}{{1 + {e^{ - z}}}}]

将两个函数合并

[{h_ heta }(x) = frac{1}{{1 + {e^{ - { heta ^T}x}}}}]

Sigmoid function 的示意图如下

Interpretation of Hypothesis Output

关于Hypothesis输出的解释

h_θ(x)=estimated probability that y=1 on input x

h_θ(x)是评估输入为x，输出y=1的可能性

Example: if 

[x = left[ {egin{array}{*{20}{c}}
{{x_0}}\
{{x_1}}
end{array}} ight] = left[ {egin{array}{*{20}{c}}
1\
{tumorSize}
end{array}} ight]]

h_θ(x)=0.7   Tell patient that 70% chance of tumor being malignant

h_θ(x)=0.7 表示患者的肿瘤有70%的可能是恶性的 

可以用  [{h_ heta }(x) = Pleft( {y = 1|x; heta } ight)]

表示：在给定x和参数θ情况下y=1的可能性是h_θ(x)

---

Decision Boundary

观察 [{h_ heta }(x) = gleft( {{ heta ^T}x} ight)]

和Sigmoid函数会发现，h_θ(x)≥0.5等价于 [{ heta ^T}x ge 0]

假设 [{h_ heta }(x) = gleft( {{ heta _0} + { heta _1}{x_1} + { heta _2}{x_2}} ight)]

且假设 θ=[-3 1 1]

这时，如果 [ - 3 + {x_1} + {x_2} ge 0] 则预测结果是 y=1

变换公式后 [{x_1} + {x_2} ge 3]

画出 [{x_1} + {x_2} = 3] 后如图

在线的右上方是y=1的点，在线的左下角是y=0的点

这条线就叫做Decision Boundary

它对应的是 [{h_ heta }(x) = 0.5]

---

需要搞清楚的一点是：一旦θ确定，Decision Boundary 也就确定了；数据不能决定 Decision Boundary，数据是用来寻找参数θ的。