缺失数据的处理

做数据分析挖掘特征之前，都要先处理好数据，数据处理里第一步我们要先处理有缺失值的情况。

查看导入的数据缺失情况：

import pandas as pd
from io import StringIO

csv_data = """A,B,C,D
1.0,2.0,3.0,4.0
5.0,6.0,,8.0
0.0,11.0,12.0,
"""
df = pd.read_csv(StringIO(csv_data))
print(df)
# 输出缺失值的个数
missing = df.isnull().sum()
print(missing)
print(missing.values, type(missing.values))
print(missing.values[1:])  # 可以索引取值，但是不是列表，方法属性不一样
print(dir(missing.values))

　　通过打印的输出我们可以发现使用 isnull方法可以判断值是否为空，isnull().sum()方法按列输出缺失值的个数。

　　我们可以利用数据框(DataFrame)的values属性来获取对应的NumPy数组。

删除有缺失值的行或列：

print(df.dropna())  # 按行删除有缺失值
print(df.dropna(axis=1))  # 删除列中有缺失值的列
print(df.dropna(how="all"))  # 删除那些行全是缺失值的
print(df.dropna(thresh=4))  # 删除那些没有4个值的行
print(df.dropna(subset=["C"]))  # 删除缺失值出现在列标为"C"的行

缺失数据填充：

from sklearn.preprocessing import Imputer

imr = Imputer(missing_values='NaN', strategy='mean', axis=0)
imr = imr.fit(df)
imputed_data = imr.transform(df.values)
print(imputed_data)

　　修改之后的结果：

　　

　　注意这里是按列求和再除值的个数，你也可以设置 axis=1 按行插补。