数据科学
数据预处理
一、特征编码
- 数字编码：从0开始赋予特征的每一个取值一个整数。 例子：“收入水平”={0，1，2}来代替“收入水平”={贫困，中等收入，富有}
- One-Hot编码 ：将包含K个取值的离散性特征转化为K个二次特征（取值为0，1的特征）。例子：“汽车品牌”={路虎，吉利，奥迪}，如果该特征为路虎这写成“路虎”（[1,0,0]）、该特征为奥迪这写成“奥迪”（[0,0,1]）
二、缺省值处理
- 删除法
- 均值填补
- 随机填补
- 按照其他特征填补。有无电梯特征有缺失，可以按照楼房高低特征进行对有无电梯特征进行填补。
三、数据标准化
- Z-score标准化 ，适用于特征的最大值和最小值未知和样本分布非常分散的情况
- Min-Max标准化，适用于需要将特征取值简单的线性映射到某一区间中的情形
- 小数定标标准化，就是让特征取值的绝对值总是小于1
- 逻辑斯谛标准化（Logistic）
四、特征离散化
将连续型特征换成离散型特征的过程称为特征离散化。
- 等距离散化
- 等频离散化
- 聚类离散化
- 信息增益离散化
- 卡方离散化
- 类别属性相互依赖最大化
五、离群值检测
- 莱茵达准则（拉依达准则）
- 箱形图
- 基于近邻判断离群值
---以上总结参考于《数据科学导引》