Python数据挖掘—特征工程—特征选择

如何选择特征

根据是否发散及是否相关来选择

方差选择法

先计算各个特征的方差，根据阈值，选择方差大于阈值的特征

方差过滤使用到的是VarianceThreshold类，该类有个参数threshold，该值为最小方差的阈值，然后使用fit_transform进行特征值过滤

相关系数法

先计算各个特征对目标值的相关系数，选择更加相关的特征

递归特征消除法

使用一个基模型来进行多轮训练，经过多轮训练后，保留指定的特征数

通过estimator将基模型设置为线性模型（可以设置为其他类型），通过n_features_to_select=2将要选择的特征数设置为2

import pandas
from sklearn.feature_selection import RFE
from sklearn.linear_model import LinearRegression

data=pandas.read_csv("C:\Users\Jw\Desktop\python_work\Python数据挖掘实战课程课件\6.2\data2.csv")

feature=data[["月份","季度","广告费用","客流量"]]
rfe=RFE(
    estimator=LinearRegression(),   #通过estimator将基模型设置为线性模型
    n_features_to_select=2)   #要选择的特征数设置为2

将自变量和因变量通过fit_transfrom传入，并通过get_support()知道所用的哪两列的名字，得到对应列名

sFeature=rfe.fit_transform(
    feature,
    data["销售额"])

rfe.get_support()  #要知道这两列的名字

模型选择法

它是一种吧我们建好的模型对象传入选择器，然后它会根据这个已经建好的模型，自动帮我们选择最好的特征值。

首先导入数据，给出全部特征值，然后建立模型，作为参数传入SelctFromModel()，在通过fit_transfrom对特征值和因变量进行过滤，选出最优的特征，最后通过get_support()得到对应的列名。

import pandas
from sklearn.linear_model import LinearRegression
from sklearn.feature_selection import SelectFromModel

data=pandas.read_csv("C:\Users\Jw\Desktop\python_work\Python数据挖掘实战课程课件\6.2\data2.csv")

feature=data[["月份","季度","广告费用","客流量"]]

lrModel=LinearRegression()

selectFromModel=SelectFromModel(lrModel)

selectFromModel.fit_transform(
        feature,
        data["销售额"])

feature.columns[selectFromModel.get_support()]