数据的预处理及特征筛选（实例）

参考：http://blog.csdn.net/ppp8300885/article/details/77934822?locationnum=9&fps=1

 长尾数据的log转换：

fig, axes = plt.subplots(nrows=2, ncols=1)
df['travel_time'].hist(bins=100, ax=axes[0])
df['travel_time'] = np.log1p(df['travel_time'])
df['travel_time'].hist(bins=100, ax=axes[1])
plt.show()

数据平滑处理：

from  sklearn import datasets
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt 
iris=datasets.load_iris()
name=iris.feature_names
iris=pd.DataFrame(iris.data)
iris.columns=name
def quantile_clip(group):
    group.plot()
    group[group < group.quantile(.05)] = group.quantile(.05)
    group[group > group.quantile(.95)] = group.quantile(.95)
    group.plot()
    plt.show()
    return group
iris['sepal length (cm)'].transform(quantile_clip)

 id和time的笛卡尔积转换，并进行缺失值填补

link_df = pd.read_csv('../raw/gy_contest_link_info.txt', delimiter=';', dtype={'link_ID': object})
date_range = pd.date_range("2016-07-01 00:00:00", "2016-07-31 23:58:00", freq='2min').append(pd.date_range("2017-04-01 00:00:00", "2017-07-31 23:58:00", freq='2min'))
new_index = pd.MultiIndex.from_product([link_df['link_ID'].unique(),date_range],names=['link_ID', 'time_interval_begin'])
df1 = pd.DataFrame(index=new_index).reset_index()    #在表合并之后，需要对index进行reset化，使得index按顺序排列
df3 = pd.merge(df1, df, on=['link_ID', 'time_interval_begin'], how='left')     #将已有数据对笛卡尔积数据进行左连接