统计学习方法——P1

背景基础知识备忘

---

　　平均差 

　　　　MD=(∑|x_i-x'|)/n

　　加权平均差

　　　　A.D=(∑|x_i-x'|f_i)/∑f_i

---

　　方差

　　　　

　　标准差

　　　　SD=方差的平方根

---

　　分布函数：

　　　　

 

　　　　设X是一个随机变量，x是任意实数，函数称为X的分布函数。有时也记为X~F(x)    对于任意实数

,有

　　　　　　　　

　　　　　　　　

　　

　　概率密度函数：

　　　　

　　　　随机数据的概率密度函数：表示瞬时幅值落在某指定范围内的概率，因此是幅值的函数。它随所取范围的幅值而变化。

　　　密度函数f(x) 具有下列性质：

　　　　1     

 

　　　　2    

 

　　　　3    

　　对概率密度函数作傅里叶变换可得特征函数。

　　特征函数与概率密度函数有一对一的关系。因此知道一个分布的特征函数就等同于知道一个分布的概率密度函数。

　　

---

　　期望

　　离散型：

　　　　离散型随机变量的一切可能的取值xi与对应的概率Pi(=xi)之积的和称为该离散型随机变量的数学期望　

　　　　　　

　　连续型：

　　　　若随机变量X的分布函数F(x)可表示成一个非负可积函数f(x)的积分，则称X为连续性随机变量，f(x)称为X的概率密度函数（分布密度函数）。

　　　　　　

---

监督学习：

　　目标：学习出一个模型对于给定输入，对其相应输出做出很好的预测

　　训练数据集：T={(x_i,y_i)}  i=1,2,3.......N   

　　统计学习要素：

　　　　方法=模型+策略+算法

　　　模型：所要学习的条件概率分布或者决策函数

　　　策略：略    损失最小的最优化的目标函数

　　　算法：学习模型的计算方法

　　exp：

　　　　损失函数 L(Y,f(x))   f(x)为预测值：

　　　　　　0-1损失：

　　　　　　　　L(Y,f(x))=1   Y !=f(x)

　　　　　　　　L(Y,f(x))=0   Y==f(x)

　　　　　　平方损失：

　　　　　　　　L(Y,f(x))=∑(Y-x')²

　　　　　　绝对损失：

　　　　　　　　L(Y,f(x))=|Y-f(x)|

　　　　　　对数损失   对数似然损失函数：

　　　　　　　　L(Y,P(Y|X))=-logP(Y|X)

　　损失期望函数：

　　　　R_exp (f)=E_p [L(Y,f(x))]=∫_x*y L(y,f(x))p(x,y)dxdy   为模型联合分布的期望损失

　　由于对联合分布概率 p(x,y) 未知 对训练集T有经验损失为

　　　　R_exp (f)=(∑L(y_i,f(x_i)))/N   i=1,2,3,4.......N    为模型的平均损失

　　由大数定理：当样本容量N趋向于无穷时，经验损失趋向于期望损失     由于N在实际问题中不可能趋向于无穷，用平均损失估计期望损失不准确，必须对他校正

　　方法有：1 经验风险最小化    2 结构风险最小化

　　经验风险最小化： 对于假设空间F

　　　　min (∑L(y_i,f(x_i)))/N  的模型为最佳模型   

　　结构风险最小化：

　　　　min (∑L(y_i,f(x_i)))/N+λJ(f)   J(f)为模型复杂度  模型越复杂   J(f)越大   反之亦然   λ为系数  用来权衡经验风险和模型复杂度

---

以上为背景知识，下一篇看模型评估以及模型选择