需要清洗的数据有下面几种形式
2.1错误值
出现大量0的话，可以使用缺失值替代，然后再用缺失值填补的方法处理
camp['AvgIncome']=camp['AvgIncome'].replace({0: np.NaN})
2.2 缺失值
vmean = camp['Age'].mean(axis=0, skipna=True)
camp['Age_empflag'] = camp['Age'].isnull()
camp['Age']= camp['Age'].fillna(vmean)
camp['Age'].describe()
2.3 重复
去掉重复值
2.4 数据不一致
- 时间单位不同可以使用正则使其一致化
- 金额单位不同需要一致化
2.5 离群值（异常值）
1.删除异常值（5倍标准差之外的数据）
2.盖帽法处理异常值，把1%的异常值用99%处的值代替
def blk(floor, root): # 'blk' will return a function
def f(x):
if x < floor:
x = floor
elif x > root:
x = root
return x
return f
q1 = camp['Age'].quantile(0.01) # 计算百分位数
q99 = camp['Age'].quantile(0.99)
blk_tot = blk(floor=q1, root=q99) # 'blk_tot' is a function
camp['Age']= camp['Age'].map(blk_tot)
camp['Age'].describe()
3.分箱法处理异常值
camp['Age_group1'] = pd.qcut( camp['Age'], 4) # 这里以age_oldest_tr字段等宽分为4段
camp.Age_group1.head()