特征选择

在sklearn.feature_selection模块中，可以对样本集进行特征选择（feature selection）和降维（dimensionality reduction）,这样会提高估计器的准确度或者增强在高维数据集上的性能。

1. 移除低方差特征

VarianceThreshold是特征选择的一个基本方法，移除所有方差不满足阈值的特征。默认移除所有零方差特征，即在所有样本上取值不变的特征。

例如：假设有一个特征是布尔值的数据集，我们要移除那些在整个数据集中特征为0或者为1的比例超过80%的特征。布尔特征是伯努利随机变量，变量方差为 Var[X] = p(1-p)，因此，我们用阈值“0.8*（1-0.8）”进行选择：

from sklearn.feature_selection import VarianceThreshold

X = [[0,0,1], [0,1,0], [1,0,0], [0,1,1], [0,1,0], [0,1,1]]
sel = VarianceThreshold(threshold=(.8*(1-.8)))

print(sel.fit_transform(X))

[[0 1]
 [1 0]
 [0 0]
 [1 1]
 [1 0]
 [1 1]]

VarianceThreshold移除了第一列，它的值为0的概率为 p=5/6>0.8

2. 单变量特征选择

单变量的特征选择是通过基于单变量的统计测试来选择最好的特征。它可以当做评估期的预处理步骤。

Scikit-learn将特征选择的内容作为实现transform方法的对象：

• SelectKBest：移除评分最高的K个特征之外的所有特征
• SelectPercentile：移除指定的最高得分百分比之外的所有特征
• 对每个特征应用常见的单变量统计测试：假阳性率（false positive rate）SelectFpr，伪发现率（false discovery rate）SelectFdr，或族系误差（family wise error）SelectFwe。
• GenericUnivariateSelect：允许使用可配置方法来进行单变量特征选择。它允许超参数搜索评估器来选择最好的单变量特征。

例如下面的实例，我们可以使用  检验样本集来选择最好的两个特征：

>>> from sklearn.datasets import load_iris
>>> from sklearn.feature_selection import SelectKBest
>>> from sklearn.feature_selection import chi2
>>> iris = load_iris()
>>> X, y = iris.data, iris.target
>>> X.shape
(150, 4)
>>> X_new = SelectKBest(chi2, k=2).fit_transform(X, y)
>>> X_new.shape
(150, 2)

这些对象将得分函数作为输入，返回单变量的得分和 p 值 （或者仅仅是 SelectKBest 和 SelectPercentile 的分数）:

对于回归：f_regression，mutual_info_regression

对于分类：chi2，f_classif，mutual_info_classif

这些基于 F-test 的方法计算两个随机变量之间的线性相关程度。另一方面，mutual information methods（互信息）能够计算任何种类的统计相关性，但是作为非参数的方法，互信息需要更多的样本来进行准确的估计。

3. 特征选择作为pipeline（管道）的一部分

特征选择通常在机器学习之前来做预处理。具体表现如scikit-learn中的sklearn.pipeline.Pipeline：

clf = Pipeline([
  ('feature_selection', SelectFromModel(LinearSVC(penalty="l1"))),
  ('classification', RandomForestClassifier())
])
clf.fit(X, y)

在上述代码中， 首先利用sklearn.svm.LinearSVC和sklearn.feature_selection.SelectFromModel来评估特征的重要性并选择出相关的特征。然后，在转换后的输出中使用sklearn.ensemble.RandomForestClassifier分类器。

 

来自：sklearn官方文档