机器学习-特征选择

特征选择

从特征集合中选择出相关的特征子集的过程，称为特征选择。它是数据预处理的一个重要过程。

为什么进行特征选择？

答：由于特征过多造成维数灾难，去除不相关的特征，会降低学习任务的难度。

过滤式选择

过滤式特征选择是首先从特征中过滤重要特征，接着再训练学习器，特征选择过程与学习器训练过程无关。

Relief：

过滤式法特征选择。通过一个相关统计量来度量特征的重要性。该统计分量是一个向量，向量的每个分量代表一个特征，向量值越大，特征越重要。

算法如下：

给定训练集{{x1,y1},,,{xm,ym}}，对于xi，先在同类样本中寻找最近邻样本，x_i,nh 称为猜中近邻，在从异类样本中寻找最近邻样本x_i,nm ，称为猜错近邻，

Pj = sum _I (-diff(xi,xink)²+diff(xi,xinm)²)  表示相关统计量在书信j上的值

若属性是离散型，xa=xb，则diff(xa,xb)=0 否则diff(xa,xb)=1

若属性是连续型， diff(xa,xb)=| xa-xb |

最后基于每个样本求得的相关统计量取平均，变量值越大，属性分类能力越强。

包裹式选择

针对给定的学习器进行优化，将学习器的性能作为评价特征子集的的评价标准。

LVW算法

它是在拉斯维加斯方法框架下采用随机策略进行特征子集搜索。并以最终分类器的误差作为特征子集的评价标准。

由于采用随机策略，每次特征子集评价计算开销很大，当特征子集误差更小时或误差相当，特征数少时，则保留特征子集。

嵌入式选择

将特征选择与学习器训练融为一体，一同优化，在学习器训练过程中自动进行特征选择。

略