关于pandas

enumerate（）

• 循环读出每个列的索引值和列名
  • for col_num, col_name in enumerate(df):

dataframe.groupby（条件选择）

• 用法

• DataFrame.groupby(by=None, axis=0, level=None, as_index=True, sort=True, group_keys=True, squeeze=False, **kwargs)

  • by :接收映射、函数、标签或标签列表；用于确定聚合的组。
  • axis : 接收 0/1；用于表示沿行(0)或列(1)分割。
  • level : 接收int、级别名称或序列，默认为None；如果轴是一个多索引(层次化)，则按一个或多个特定级别分组。
  • as_index：接收布尔值，默认Ture；Ture则返回以组标签为索引的对象，False则不以组标签为索引。

• 示例

df = pd.DataFrame({'Gender' : ['男', '女', '男', '男', '男', '男', '女', '女', '女'],
                   'name' : ['周杰伦', '蔡依林', '林俊杰', '周杰伦', '林俊杰', '周杰伦',
                              '田馥甄','蔡依林', '田馥甄'],
                   'income' : [4.5, 2.9, 3.8, 3.7, 4.0, 4.1, 1.9, 4.1, 3.2],
                   'expenditure' : [1.5, 1.9, 2.8, 1.7, 4.1, 2.5, 1.1, 3.4, 1.2]
                  })
print(df)

输出：

Gender name  income  expenditure
0      男  周杰伦     4.5          1.5
1      女  蔡依林     2.9          1.9
2      男  林俊杰     3.8          2.8
3      男  周杰伦     3.7          1.7
4      男  林俊杰     4.0          4.1
5      男  周杰伦     4.1          2.5
6      女  田馥甄     1.9          1.1
7      女  蔡依林     4.1          3.4
8      女  田馥甄     3.2          1.2

• 根据其中一列分组

df_expenditure = df.groupby(['Gender'])

输出：(迭代器?)

<pandas.core.groupby.generic.DataFrameGroupBy object at 0x00000265342B3320>

df_expenditure = df.groupby(['Gender'])
for group_name, group_data in df_expenditure:
    print(group_data)

输出：

('女',   Gender name  income  expenditure
1      女  蔡依林     2.9          1.9
6      女  田馥甄     1.9          1.1
7      女  蔡依林     4.1          3.4
8      女  田馥甄     3.2          1.2)
('男',   Gender name  income  expenditure
0      男  周杰伦     4.5          1.5
2      男  林俊杰     3.8          2.8
3      男  周杰伦     3.7          1.7
4      男  林俊杰     4.0          4.1
5      男  周杰伦     4.1          2.5)

df_expenditure = df.groupby(['Gender'])['name']
for group_name, group_data in df_expenditure:
    print(group_name)
    print(group_data)

输出：(主键为性别，分类找出对应的所有名字)

('女', 1    蔡依林
6    田馥甄
7    蔡依林
8    田馥甄
Name: name, dtype: object)
('男', 0    周杰伦
2    林俊杰
3    周杰伦
4    林俊杰
5    周杰伦

• 最后可以利用sum(),mean(),count(),size()来做计算

dataframe.sort_values

• 案例

df_expenditure = df.groupby(['name','Gender']).sum()
df_expenditure = df_expenditure.sort_values(by='expenditure', ascending=True)
print(df_expenditure)

输出：

                       income  expenditure
name Gender                     
田馥甄  女          5.1          2.3
蔡依林  女          7.0          5.3
周杰伦  男         12.3          5.7
林俊杰  男          7.8          6.9

• 以'name','Gender'为组合主键，按照expenditure升序排列

dataframe.isin

• 语法

df_list = df['name'].isin(['周杰伦','蔡依林'])
print(df_list)
words_pd_select = df[df_list]
print(words_pd_select)

• 输出：

0     True
1     True
2    False
3     True
4    False
5     True
6    False
7     True
8    False
Name: name, dtype: bool

Gender name  income  expenditure
0      男  周杰伦     4.5          1.5
1      女  蔡依林     2.9          1.9
3      男  周杰伦     3.7          1.7
5      男  周杰伦     4.1          2.5
7      女  蔡依林     4.1          3.4

• 条件选择，选择特定维度，特定的值

mean，sum，drop

axis=1

people=DataFrame(np.ones((5,5)),
                 columns=['a','b','c','d','e'],
                 index=['Joe','Steve','Wes','Jim'])

print(people.mean(axis=1))
print (people.drop('Jim',axis=0))

输出：

Joe      5.0
Steve    5.0
Wes      5.0
Jim      5.0


         b    c    d    e
Joe    1.0  1.0  1.0  1.0
Steve  1.0  1.0  1.0  1.0
Wes    1.0  1.0  1.0  1.0
Jim    1.0  1.0  1.0  1.0


第一个列子 df.mean(axis=1)代表沿着列水平方向计算均值，
而第二个列子df.drop(name, axis=1) 代表将name对应的列
标签沿着水平的方向依次删掉。

isnull()的运用

• 查找缺失值
• isnull().any(axis)
  • axis = 0 选择列 默认
  • axis = 1 选择行
• isnull().any().sum()
  • 计算计算缺失值列总数
• dataframe[df.isnull().any(axis=1)]
  • 输出含有null值的整行数据

.str.cat

• 多列拼接
  • 适用于一维数据Series或字符串，可以使用astype(np.str)，转换成字符串格式
• 示例

rfm_pd['d'] = rfm_pd_tmp['a'].str.cat(rfm_pd_tmp['b']).str.cat(
    rfm_pd_tmp['b'])
新增d列，把a.b.c列字符拼接
输入：pd.Series(['a','b','c']).str.cat(sep=';')
输出：'a;b;c'

输入：pd.Series(['a','b','c']).str.cat(['A','B','C'], sep=';')
输出：
0  a;A
1  b;B
2  c;C

pd.concat

• 多个dataframe拼接
• 示例

a = pd.DataFrame(np.ones((2,2)),columns=['pro1', 'pro2'])
print(a)

b = pd.DataFrame(np.random.random((2,1)), columns=['dd'])
print(b)
predict_pd = pd.concat((a,b), axis=1)
print(predict_pd)

• 输出

pro1  pro2
0   1.0   1.0
1   1.0   1.0

         dd
0  0.236130
1  0.058731

   pro1  pro2        dd
0   1.0   1.0  0.236130
1   1.0   1.0  0.058731

pd.fillna()

• pd.fillna(值) 所有缺失值填充
• pd.fillna(字典) 给指定的列填充指定的值
  • 字典：{列名:值}

交叉表 crosstab

• 交叉表是用于统计分组频率的特殊透视表

pd.crosstab(主属性, 需要分组统计的属性，margins=True)
margins=True 表示添加累加列

用正则取出属性

df.filter(regex=**)

get_dummies 特征因子化

以Cabin为例，原本一个属性维度，因为其取值可以是[‘yes’,‘no’]，而将其平展开为’Cabin_yes’,'Cabin_no’两个属性

原本Cabin取值为yes的，在此处的"Cabin_yes"下取值为1，在"Cabin_no"下取值为0
原本Cabin取值为no的，在此处的"Cabin_yes"下取值为0，在"Cabin_no"下取值为1

dummies_Cabin = pd.get_dummies(data_train['Cabin'], prefix= 'Cabin')
print(dummies_Cabin.head())

• 输出

   Cabin_No  Cabin_Yes
0         1          0
1         0          1
2         1          0
3         0          1
4         1          0

add_prefix(str)

• 对于Series，行标签是前缀的。对于DataFrame，列标签是前缀的。

参数:	prefix : str要在每个标签前添加的字符串。
返回:	Series 或 DataFrame具有更新标签的新Series或DataFrame。