【Pandas】 pandas 常用操作

读取 CSV 文件

可以使用 pd.read_csv() 来读取文件，pd.read_csv()的参数非常多，这里只对常用参数和用法做总结，全部参数可参考官方文档。
常用参数：

• filepath_or_buffer ：要读取的文件路径；
• sep：分隔符，对 csv 文件来说，每行数据分隔符为逗号,，默认值为,；
• delimiter 是 sep 的别名；
• header：是否读入表头，header=None则不读入文件中的表头，使用默认的表头([0,1,...])

假设文件D:\test.csv的内容如下

name,gender,1,2
tom,male,3,3
jane,female,4,4
erik,male,5,5

使用pd.read_csv()来读取文件

df = pd.read_csv('D:\test.csv', sep=',')
df

输出

如果不需要读入表头的话，指定header=None即可

df = pd.read_csv('D:\test.csv', header=None)
df

输出

可以看到，表头被替换成了默认的索引。

删除行

创建DataFrame

df = pd.DataFrame({'name':['jane', 'mike', 'eric'],
                   'gender': ['female', 'male', 'male'],
                   'age': [18, 19, 20]})
df.head()

输出：

删除第0行

df = df.drop(0, axis=0)  #axis=0表示按行删除
df

输出

删除第i行

df = df.drop(i, axis=0)

删除列

创建DataFrame

df = pd.DataFrame({'name':['jane', 'mike', 'eric'],
                   'gender': ['female', 'male', 'male'],
                   'age': [18, 19, 20]})
df.head()

输出：

删除第 0 列，也就是 age 列

df = df.drop(df.columns[0], axis=1)  # axis=1表示对列进行操作
df

输出

也可以指定列名删除

df = df.drop('age', axis=1)
df

输出

还可以使用del直接删除

del df['name']
df

输出

删除多列

df = df.drop(['age', 'gender'], axis=1)
df

输出

如果我们想获得删除后的列，可以使用pop函数

age = df.pop('age')
print(age)
print(df)

输出

切片

创建DataFrame

df = pd.DataFrame({'name':['jane', 'mike', 'eric'],
                   'gender': ['female', 'male', 'male'],
                   'age': [18, 19, 20]}, index=['a', 'b', 'c'])
df.head()

输出

Pandas中切片常用的有loc[]和iloc[]函数。简单地说，loc根据标签来选择数据，而iloc根据索引来选择数据。

loc[]

选取第 0 行（a 对应的数据）

df.loc['a']

输出

选择第 1 行和第 2 行数据

df.loc['a':'b']

输出

同时选择行列数据

df.loc['a':'b', 'age']

输出

选择多行多列数据

df.loc['a':'b', ['age', 'name']]

输出

行也可以用列表来表示

df.loc[['a','b'], ['age', 'name']]

输出

iloc[]

iloc[]和loc[]用法类似，只是iloc使用索引来进行选择和切片。
使用同样的DataFrame

df = pd.DataFrame({'name':['jane', 'mike', 'eric'],
                   'gender': ['female', 'male', 'male'],
                   'age': [18, 19, 20]}, index=['a', 'b', 'c'])
df.head()

输出

选择第 0 行

df.iloc[0]

输出

选择第 0 行和第 1 行

df.iloc[0:2]

输出

同时选择行和列

df.iloc[0:2, 0] #第0,1行，第0列(age)

输出

选取多行多列

df.iloc[0:2, [0,2]] #第0,1行，第0,2列(age, name)

输出

行索引也可以使用列表的形式

df.iloc[[0,1], [0,2]] #第0,1行，第0,2列(age, name)

输出

其他

还可以用类似访问普通数组的方式选择列

df[['name', 'gender']]

输出

条件选择

创建DataFrame

df = pd.DataFrame({'name':['jane', 'mike', 'eric'],
                   'gender': ['female', 'male', np.nan],
                   'age': [18, 21, 20]}, index=['a', 'b', 'c'])
df

输出

单个条件

假如我们想选择年龄大于18岁的人，则可以使用条件选择

df.loc[df['age']>18]

输出

将年龄大于18的同学的性别改为"man"

df.loc[df['age']>18, 'gender'] = 'man'
df

输出

多个条件

假如我们想选择年龄小于20且性别为女的同学，则

df.loc[(df['age']<20) & (df['gender']=='female')]

输出

NaN

创建一个含有NaN的DataFrame

df = pd.DataFrame({'name':['jane', 'mike', 'eric'],
                   'gender': ['female', 'male', np.nan],
                   'age': [18, np.nan, 20]}, index=['a', 'b', 'c'])
df.head()

输出

判断是否存在NaN

当我们拿到一份数据时，我们通常要判断数据是否有缺失，可以通过df.info()来判断

df.info()

输出

可以看到，数据共 3 行，但 age 列和 gender 列都只有 2 个数据对象。所以 age 列和 gender 列数据有缺失，各缺失 1 条数据。
还可以使用df.isnull()来判断

df.isnull()

输出

这样实际上是把每个元素是否为空都输出了出来，当数据量较大时，通过这种方法判断显然是不合理的，可以使用df.isnull().any()来判断

df.isnull().any()

输出

通过输出我们可以知道，age 列和 gender 列存在空值，而 name 列没有缺失值。
使用df.isnull().any()只能判断每列是否存在缺失值，而不能得出有多少缺失值。可以使用df.isnull().sum()来判断每列有多少缺失值

df.isnull().sum()

输出

可以看到，age 列和 gender 列各有一个缺失值，而 name 列没有缺失值。

统计NaN的比例

NaN的比例可以然我们更直观的看到有多少缺失值

total = df.isnull().sum().sort_values(ascending=False)
percent = (df.isnull().sum()/df.isnull().count()).sort_values(ascending=False)
missing_data = pd.concat([total, percent], axis=1, keys=['Total', 'Percent'])
missing_data.head()

输出

可以看到，age 列和 gender 列缺失值个数占总数的 33.3%.

缺失值的处理

当某列的缺失值较多时，可以直接将该列删除，可以使用上面的删除列的方法将对应的列删除。
当某列的缺失值较少时，我们可以使用df.fillna()将缺失值填充，可以填充为该列其他非空值的平均值，中位数等

df['age'] = df['age'].fillna(df['age'].mean()) # 将age列中的缺失值填充为平均值
df

输出

df['gender'] = df['gender'].fillna('male') # 将gender列中的缺失值填充为'male'
df

输出

年龄应该是整数，通过astype()来更改数据类型

df['age'] = df['age'].astype(int)
df

输出

连接concat

pd.concat可以将多个DataFrame连接成一个DataFrame。
首先创建两个DataFrame：df1，df2

df1 = pd.DataFrame({'name':['jane'],
                   'gender': ['female'],
                   'age': [18]})
df1

输出

df2 = pd.DataFrame({'name':['mike'],
                   'gender': ['male'],
                   'age': [19]})
df2

输出

通过指定axis可以实现水平连接(axis=1)和垂直连接(axis=0)

df = pd.concat([df1, df2], axis=0)  #垂直连接
df

输出

df = pd.concat([df1, df2], axis=1)  #水平连接
df

输出

如果两个DataFrame的列名不同，那么连接后的DataFrame可能存在缺失值

df3 = pd.concat([df1, df2], axis=0)
df3

输出

df4 = pd.DataFrame({'name':['mike'],
                   'score':[90]})
df4

输出

将 df3 和 df4 连接

df5 = pd.concat([df3, df4], axis=0)
df5

输出

合并merge

使用pd.merge将两个DataFrame合并起来

df3

输出

df4

输出

将 df3 和 df4 根据 name 列合并

df6 = pd.merge(df3, df4, on='name')
df6

输出

还可以使用下面这种方式

df7 = df3.merge(df4)
df7

输出

apply, applymap和map

我们可以通过apply,applymap和map使用函数来对DataFrame或者Series进行操作。这3中方法的区别在于：

• apply对整个DataFrame（以行或列为元素）进行操作
• applymap对整个DataFrame中的元素进行操作
• map对Series中的元素进行操作

apply

apply对整个DataFrame（以行或列为元素）进行操作。创建DataFrame

df = pd.DataFrame({'a': [1,2,3], 'b':[1,2,3], 'c':[1,2,3]})
df

输出

求df每列的和

df.apply(np.sum, axis=0)

输出

求df每行的和

df.apply(np.sum, axis=1)

输出

使用自定义的lambda函数求和

df.apply(lambda x:x.sum(), axis=0)

输出

使用自定义的函数求和

def my_sum(x):
    return x.sum()
df.apply(my_sum, axis=0)

输出

applymap

applymap对整个DataFrame中的元素进行操作。创建DataFrame

df = pd.DataFrame({'a': [1,2,3], 'b':[1,2,3], 'c':[1,2,3]})
df

输出

对df中的每个元素求平方

df.applymap(lambda x:x**2)

输出

map

map对Series中的每个元素进行操作。创建DataFrame

df = pd.DataFrame({'a': [1,2,3], 'b':[1,2,3], 'c':[1,2,3]})
df

输出

对第a列的数字进行平方

df['a'].map(lambda x:x**2)

输出