逻辑回归 之 Logist 推导

Logist从概率角度认识

可以咱学校教材大二版的<<概率论与数理统计>> - 山大版, 来整一波, 为了简化推导形式呢, 这里就假设2个样本空间的形式来展开, 基于(条件概率) 全概率与贝叶斯 作为核心.

栗子: 全概率与贝叶斯

举个我们学校概率论教材的栗子, 这里就不展开概念说明, 自行百度吧, 这只想通过栗子直观感受一波.

设某厂有甲, 乙,丙 三个车间都生产 A 产品. 已知(先验概率):

各车间产量分别占全厂的 25%, 35%, 40%,

且各车间的次品率分别为 5%, 4%, 2%.

需求1: 现随机抽取一个样本, 则它是次品的概率有多大?

求解如下:

设A1, A2, A3 分别表示 "产品分别由甲, 乙, 丙 车间生产", B 表示 "产品为次品"

显然 A1, A2, A3 构成完备事件组 (就是一个样本空间), 且可得到:

P(A1) = 25%, P(B|A1) = 5%

P(A2) = 35%, P(B|A2) = 4%

P(A3) = 40%, P(B|A3) = 2%

要求P(B) 的(全) 概率, 其分散于, A, B, C 发生下, B的概率之和,即:

(P(B) = P(A1)P(B|A1) + P(A2)P(B|A2) + P(A3)P(B|A3))

(= sum limits _{i=1}^3 P(A_i)P(B|A_i) = 0.0345)

需求2: 现任意取一件, 已知是次品, 求是哪个车间生产的概率最大?

反推哦, 其实就是求 P(A1 |B), P(A2|B), P(A3|B)

(P(A1|B) = frac {P(A)P(B|A1)}{P(B)} = frac {25\% * 5\%}{0.0345} = 0.362)

(P(A2|B) = frac {P(A2)P(B|A2)}{P(B)} = frac {35\% * 4\%}{0.0345} = 0.406)

(P(A3|B) = frac {P(A3)P(B|A3)}{P(B)} = frac {40\% * 2\%}{0.0345} = 0.232)

因此, B 的发生, 来自 (P(A1|B)) 即乙厂的可能最大.

这其中呢, 其实在不知不觉中用到了贝叶斯公式:

设A1,A2,A3..构成完备事件组, 则对任意一事件B有:

(P(A_i|B) = frac {P(A_i)P(B|A_i)}{sum limits _{i=1}^n P(A_i)P(B|A_i)})

分母是 全概率, 分子是 "分量"

logist 函数推导

假设样本空间 s1, s2, 现已知(样本) 事件 x 发生. (但不知道是基于 s1 还是 s2)

请问: 当 X 事件已经发生下, 是基于 是基于 s1 的概率有多大?

即求 P(s1|x)

这就是一个经典的条件概率问题.

先求 P(x) 的全概率:

(P(x) = P(s1)P(x|s1) + P(s2)P(x|s2) (1))

目标( 根据贝叶斯定理:)

(P(s1|x) = frac {P(s1)P(x|s1)}{P(x)} (2))

$ P(s1|x) = frac {P(s1)P(x|s1)} {P(s1)P(x|s1) + P(s2)P(x|s2) } (3)$

分子, 分母同时 除以 分子得:

(P(s1|x) = frac {1} {frac {P(s1)P(x|s1)} {P(s1)P(x|s1)} + frac {P(s2)P(x|s2)}{P(s1)P(x|s1)} } = frac {1} {1+ frac {P(s2)P(x|s2)}{P(s1)P(x|s1)} } (4))

令 (y = ln [ frac {P(s1)P(x|s1)}{P(s2)P(x|s2)}]) 回代到 (4):

即得出: (P(s1|x) = frac {1}{1+e^y})

对数运算性质:

(-y = ln [ frac {P(s2)P(x|s2)}{P(s1)P(x|s1)}])

logistic 函数性质

也可以叫做, sigmoid 函数, 一样的. 画出来的话是一个 "s" 形状的曲线.

(f(x) = frac {1}{1+e^{-x}})

• 值域是在 [0, 1] 的连续可导的增函数
• x = 0 处, y = 0
• x ( ightarrow -infty), y -> 0
• x ( ightarrow + infty) y -> 1

刻画概率的累计分布, 如果从概率视角来认识的话.

(P(y=1|x) = frac {1}{1+e^{-x}})

输入一个 x (可以是标量, 向量), 输出一个 [0,1] 的值 的时候, y=1 的 概率是多少. 这里y一共有两种情况 y = 1或 y=0. 这不就是一个二分类问题吗

结合线性模型:

(P(y=1|x) = frac {1}{1+e^{-x}} = frac {1}{1+e^{- heta^T x}})

于是, 这样就很清晰认识到, 逻辑回归, 看着像回归, 线性模型嘛, 其实是二分类.

下篇就整一波如何构造目标函数来求解参数向量 ( heta)