数据分析05 /pandas的高级操作
1. 替换操作
替换操作可以同步作用于Series和DataFrame中
-
创建df表格数据：
import numpy as np import pandas as pd from pandas import DataFrame,Series df = DataFrame(data=np.random.randint(0,100,size=(8,7))) -
普通替换： 替换所有符合要求的元素:to_replace=15,value='e'
df.replace(to_replace=0,value='zero') -
按列指定单值替换： to_replace={列标签：替换值} value='value'
df.replace(to_replace={0:'aaa',22:222666}) -
指定行替换
df.iloc[2] = [0,0,0,0,0,0,0] df -
指定列替换
df.replace(to_replace={4:0},value=666) # 将第4列中的0替换成666
2. 映射操作
-
概念：map是Series的一个方法，创建一个映射关系列表，把values元素和一个特定的标签或者字符串绑定（给一个元素值提供不同的表现形式）
-
需求：创建一个df，两列分别是姓名和薪资，然后给其名字起对应的英文名
1.创建一个df表格：
dic = { 'name':['张三','李四','王老五'], 'salary':[22222,7777,11111] } df = DataFrame(data=dic) df2.创建映射表：
# 映射关系表 dic = { '张三':'tom', '李四':'jay', '王老五':'jerry' } df['e_name'] = df['name'].map(dic) df
3. 运算工具
-
map：map括号中放的是函数就是充当运算工具来使用
示例：超过3000部分的钱缴纳50%的税，计算每个人的税后薪资
def after_sal(s): # 返回税后薪资，参数s就是税前薪资 return s - (s-3000)*0.5 df['after_sal'] = df['salary'].map(after_sal) df -
apply：apply是df的一个方法/运算工具，可以将df中行或者列数据进行某种形式的运算操作。
def func(s): s = s.sum() print(s) df.apply(func,axis=0) # 结果： 张三李四王老五 41110 tomjayjerry 25055.0
4. 映射索引 / 更改之前索引
-
使用rename()函数替换行索引
参数介绍：index 替换行索引，columns 替换列索引
1.创建df4表格
df4 = DataFrame({'color':['white','gray','purple','blue','green'],'value':np.random.randint(10,size = 5)}) df42.映射行/列索引
# 映射关系表：映射行索引 new_index = {0:'first',1:'two',2:'three',3:'four',4:'five'} # 映射关系表：映射列索引 new_col={'color':'cc','value':'vv'} df4.rename(new_index,columns=new_col)
5. 排序实现的随机抽样/打乱表格数据
-
np.random.permutation()：指定数内随机排序
np.random.permutation(10) # 结果： array([8, 2, 6, 7, 3, 9, 1, 5, 0, 4]) -
take()：将df数据的行/列进行打乱操作
df = DataFrame(data=np.random.randint(0,100,size=(100,3)),columns=['A','B',"C"]) df.take(np.random.permutation(3),axis=1).take(np.random.permutation(100),axis=0)[:50]
6. 数据的分类处理 / 分组
-
数据分类处理的核心：groupby()函数，groups属性查看分组情况
1.创建表格
df = DataFrame({'item':['Apple','Banana','Orange','Banana','Orange','Apple'], 'price':[4,3,3,2.5,4,2], 'color':['red','yellow','yellow','green','green','green'], 'weight':[12,20,50,30,20,44]}) df示例1：计算每种水果的平均价格
# 分组 df.groupby(by='item') # 结果：<pandas.core.groupby.DataFrameGroupBy object at 0x000001B6E3D4A0B8> # 查看分组情况 df.groupby(by='item').groups # 结果： {'Apple': Int64Index([0, 5], dtype='int64'), 'Banana': Int64Index([1, 3], dtype='int64'), 'Orange': Int64Index([2, 4], dtype='int64')} # 请平均价格 df.groupby(by='item').mean()['price'] # 不推荐 df.groupby(by='item')['price'].mean() # 推荐示例2：计算每种颜色水果的平均重量
df.groupby(by='color')['weight'].mean()示例3：将每种水果的平均价格数据汇总到原数据中，通过映射实现
# 求每种水果的平均价格 mean_price_series = df.groupby(by='item')['price'].mean() # 将mean_price_series转换成字典，mean_price_series是Series类型 dic = mean_price_series.to_dict() # 建立item和平均价格的映射关系，并在表中创建mean_price列 df['mean_price'] = df['item'].map(dic)
7. 高级数据聚合
-
使用groupby分组后，也可以使用transform和apply提供自定义函数实现更多的运算
示例：
df.groupby('item')['price'].sum() <==> df.groupby('item')['price'].apply(sum) -
transform和apply都会进行运算，在transform或者apply中传入函数即可，transform和apply也可以传入一个lambda表达式
transform应用示例1：
# 错误示例： def abc(s): return s df.groupby(by='item')['price'].abc() # abc不是Series对象的方法 # 正确使用： df.groupby(by='item')['price'].transform(abc) #通过transform可以实现transform应用示例2：自定义一个求均值的函数，作用到分组结果中
def my_mean(s): sum = 0 for i in s: sum+=i return sum/s.size df.groupby(by='item')['price'].transform(my_mean)apply应用实例：自定义一个求均值的函数，为了防止混淆，可以忽略此方法
def my_mean(s): sum = 0 for i in s: sum+=i return sum/s.size df.groupby(by='item')['price'].apply(my_mean)
8. 数据加载
-
读取type-.txt文件数据
import pandas as pd from pandas import DataFrame,Series data=pd.read_csv('./data/type-.txt') # data/type-.txt文件数据： """ 你好-我好-他也好 也许-大概-有可能 然而-未必-不见得 """将文件中每一个词作为元素存放在DataFrame中
data=pd.read_csv('./data/type-.txt',sep='-',header=None) # sep:通过sep指定的符号切割 # header=None，不以数据的第一行作为列的索引 -
读取数据库中的数据
# 连接数据库，获取连接对象 import sqlite3 as sqlite3 conn=sqlite3.connect('./data/weather_2012.sqlite') # 读取库表中的数据值 sql_df=pd.read_sql('select * from weather_2012',conn) sql_df # 将一个df中的数据值写入存储到db df.to_sql('fruit',conn) # 此方法不适用mysql数据库的写入
9. 透视表
-
透视表概述：
透视表是一种可以对数据动态排布并且分类汇总的表格格式。或许大多数人都在Excel使用过数据透视表，也体会到它的强大功能，而在pandas中它被称作pivot_table。
-
透视表的优点：
- 灵活性高，可以随意定制你的分析计算要求
- 脉络清晰易于理解数据
- 操作性强，报表神器
-
透视表的参数：
pivot_table有四个最重要的参数index、values、columns、aggfunc
index参数：分类汇总的分类条件
values参数：需要对计算的数据进行筛选
Aggfunc参数：设置我们对数据聚合时进行的函数操作，当我们未设置aggfunc参数：默认aggfunc='mean'计算均值
Columns参数：可以设置列层次字段，对values字段进行分类
-
示例：分析NBA球星的比赛数据
将数据读取出来
import pandas as pd import numpy as np df = pd.read_csv('./data/basketball_game.csv') df.head()1.查看Harden对阵过球队的比赛数据
df.pivot_table(index='对手') # 默认分类汇总使用的聚合函数是mean2.对阵同一对手在不同主客场下的数据，分类条件为对手和主客场
df.pivot_table(index=['对手','主客场'])3.只需要Harden在主客场和不同胜负情况下的得分、篮板与助攻三项数据
df.pivot_table(index=['主客场','胜负'],values=['得分','篮板','助攻']) # values参数的使用4.获取Harden在主客场和不同胜负情况下的总得分、总篮板、总助攻数
df.pivot_table(index=['主客场','胜负'],values=['得分','篮板','助攻'],aggfunc='sum') # aggfunc参数的使用5.获取Harden在主客场和不同胜负情况下的平均得分、总篮板、最小助攻数
df.pivot_table(index=['主客场','胜负'],aggfunc={'得分':'mean','篮板':'sum','助攻':'min'})6.获取所有队主客场的总得分
df.pivot_table(index='主客场',values='得分',aggfunc='sum')7.获取每个队主客场的总得分（在总得分的基础上又进行了对手的分类）
df.pivot_table(index='主客场',values='得分',aggfunc='sum',columns='对手').fillna(value=0) # Columns参数的使用
10. 交叉表
-
交叉表概述：是一种用于计算分组的特殊透视图,对数据进行汇总，pd.crosstab(index,colums)
-
交叉表pd.crosstab(index,colums)的参数：
index参数：分组数据，交叉表的行索引
columns参数：交叉表的列索引
-
交叉表应用示例：
1.创建表
df = DataFrame({'sex':['man','man','women','women','man','women','man','women','women'], 'age':[15,23,25,17,35,57,24,31,22], 'smoke':[True,False,False,True,True,False,False,True,False], 'height':[168,179,181,166,173,178,188,190,160]}) df2.求出不同性别抽烟的人数
pd.crosstab(df.smoke,df.sex)3.求出各个年龄段抽烟人情况
pd.crosstab(df.age,df.smoke)