Python数据挖掘—特征工程—数据处理

概念：

特征工程：本质上是一项工程活动，他目的是最大限度地从原始数据中提取特征以供算法和模型使用

特征工程的重要性：特征越好，灵活性越强、模型越简单、性能越出色。

 

特征工程包括：数据处理、特征选择、维度压缩

 

量纲不一:

就是单位，特征的单位不一致，不能放在一起比较

通过：0-1标准化、Z标准化、Normalizer归一化

数据处理-归一化：

import pandas

data=pandas.read_csv(
            "C:\Users\Jw\Desktop\python_work\Python数据挖掘实战课程课件\6.1\data1.csv")

#Min-Max标准化
from sklearn.preprocessing import MinMaxScaler

scaler=MinMaxScaler()

data["标准化累计票房"]=scaler.fit_transform(data[["累计票房"]])
data["标准化豆瓣得分"]=scaler.fit_transform(data[["豆瓣评分"]])

#Z-Score标准化
from sklearn.preprocessing import scale

data["标准化累计票房"]=scale(data["累计票房"])
data["标准化豆瓣评分"]=scale(data["豆瓣评分"])


#Normalizer归一化
from sklearn.preprocessing import Normalizer

scaler = Normalizer()

data['归一化累计票房'] = scaler.fit_transform(
    data['累计票房']
)[0]
data['归一化豆瓣评分'] = scaler.fit_transform(       
    data['豆瓣评分']
)[0]

数据处理-虚拟变量：

虚拟变量也叫哑变量和离散特征编码，可用来表示分类变量、非数量因素可能产生的影响

使用get_dummies获取虚拟变量

如果新数据分类较少，要获取前面的category类，可以用categories=data["列名"].cat.categories来得到之前的分类，与之前的列一一对应

import pandas

data=pandas.read_csv(
        "C:\Users\Jw\Desktop\python_work\Python数据挖掘实战课程课件\6.1\data2.csv")

data["症状"]=data["症状"].astype("category")

dummiesData = pandas.get_dummies(
    data, 
    columns=['症状'],
    prefix=['症状'],
    prefix_sep="_"
)


newData=pandas.read_csv(
        "C:\Users\Jw\Desktop\python_work\Python数据挖掘实战课程课件\6.1\data2New.csv")


newData["症状"]=newData["症状"].astype(
    "category",
    categories=data["症状"].cat.categories)

dummiesNewData=pandas.get_dummies(
    newData,
    columns=["症状"],
    prefix=["症状"],
    prefix_sep="_")

 数据处理—缺失值

缺失值产生原因：有些信息暂时无法获取、有些信息被遗漏或者错误的处理了

缺失值处理方法：数据补齐、删除缺失行、不处理

导入Imputer类，该类有三个备选项：mean、median、most_frequent

import pandas

data=pandas.read_csv("C:\Users\Jw\Desktop\python_work\Python数据挖掘实战课程课件\6.1\data3.csv")

from sklearn.preprocessing import Imputer

#mean,median,most_frequent

imputer=Imputer(strategy="mean")

data["累计票房"]=imputer.fit_transform(data[["累计票房"]])