pandas取组内最大值行

使用SQL的取法在随笔https://www.cnblogs.com/kang-mei-208/p/13845529.html中有提及

这里介绍pandas的取法

本文是实验楼课程数据分析与挖掘的练习题。友情推荐。

1.数据输入输出

数据输入用的是美国地震观测数据。
http://labfile.oss.aliyuncs.com/courses/1176/earthquake.csv

读入数据样例如下：

time	latitude	longitude	depth	mag	magType	nst	gap	dmin	rms	net	id	updated	place	type	horizontalError	depthError	magError	magNst	status	locationSource	magSource
2018-09-19T02:42:05.360Z	38.7765	-122.729	1.47	0.72	md	6	150	0.008868	0.02	nc	nc73087016	2018-09-19T02:43:41.278Z	2km E of The Geysers, CA	earthquake	0.67	0.61	0.14	2	automatic	nc	nc
2018-09-19T02:31:38.744Z	66.385	-157.328	5.5	1.3	ml				0.83	ak	ak20258344	2018-09-19T02:36:28.347Z	61km SSW of Kobuk, Alaska	earthquake	0.3			automatic	ak	ak
2018-09-19T02:29:39.802Z	62.3758	-149.731	0	1.6	ml				0.72	ak	ak20258342	2018-09-19T02:36:28.112Z	20km ENE of Talkeetna, Alaska	earthquake	0.4			automatic	ak	ak
2018-09-19T02:23:47.301Z	60.4384	-143.057	10.6	1	ml				0.28	ak	ak20258340	2018-09-19T02:29:26.304Z	54km NW of Cape Yakataga, Alaska	earthquake	0.3			automatic	ak	ak
2018-09-19T02:16:19.050Z	37.2318	-114.941	7.9	0.7	ml	12	263.1	0.181	0.25	nn	nn00657223	2018-09-19T02:17:34.122Z	24km SE of Alamo, Nevada	earthquake	22.4			automatic	nn	nn
2018-09-19T02:08:05.660Z	33.65283	-116.734	14.28	1.17	ml	41	58	0.06049	0.15	ci	ci37359938	2018-09-19T02:18:38.670Z	10km S of Idyllwild, CA	earthquake	0.19	0.3	0.176	26	automatic	ci	ci

要求输出格式如下：

mag	region	times
micro	NV	353
light	Nevada	150
strong	CA	31
major	Japan	2
great	Indonesia	1

其处理过程为：

1. place字段的最后一个逗号后的地区构成region字段
2. 将mag按以下规则映射：

震级	描述
[0, 2)	micro
[2, 5)	light
[5, 7)	strong
[7, 9)	major
>=9	great

3. 按照震级、地区聚合，算出各地区下各震级的发生次数
4. 取出各个震级地震次数最多的地区

2.代码

# -*- coding: utf-8 -*-
"""
Created on Sun Jan 31 23:50:24 2021

@author: 25469
"""

import pandas as pd


def clean():

    ### 补充代码 ###

    df_clean = None
    df=pd.read_csv('earthquake.csv')

    df1=pd.DataFrame({'time':df.time,'latitude':df.latitude,'longitude':df.longitude,'depth':df.depth,'mag':df.mag,'region':df.place.apply(lambda x:x.split(',')[-1])})

    df1=df1.dropna().drop_duplicates()
    
    df_clean=df1

    return df_clean # 返回最终得到的 DataFrame


df=clean()

#映射
df['mag']=pd.cut(df.mag,bins=[0,2,5,7,9,20],labels=['micro','light','strong','major','great'])

#取出关键字段，聚合计数
df1=pd.DataFrame({'mag':df.mag,'region':df.region})
df1['times']=df1.groupby('region').transform('count') #构建聚合计数结果的times字段
df1.drop_duplicates(inplace=True) #这个聚合和SQL的还是有很大不同，类似开窗函数，需要手动删除重复项

#####得到各震级下最多次数的那行
#方法一

df_clean=df1.groupby('mag',as_index=False).apply(lambda x:x.sort_values(by='times').iloc[-1:]).reset_index(drop=True)

#方法二
df_clean=df1.sort_values(by='times',ascending=False).drop_duplicates('mag')

这里有两种方法：

• 用apply方法，将各个group排序后取出最后那行。
• 依照times排逆序，再以mag字段去重

这里推荐第一种方法。第二种方法有写些取巧，如果要取第二大的数字就不行了。

值得一提的是：
第一种方法的iloc[-1:]这里，我如果只写iloc[-1]，不加冒号，会报index错误

IndexError: single positional indexer is out-of-bounds

而加上冒号后却可以正常输出。他们的意思相同，都是取dataframe最后一行。

这种方法我参照的https://zhuanlan.zhihu.com/p/101284491?utm_source=wechat_session文章
奇怪的是，我输入文章中的数据集时，使用iloc[-1]却不报错。

最终我也没能搞明白我的数据集最后一步iloc[-1]为什么报错，好在加上冒号能够解决。

为了节省时间，我就不贴出来每一步操作结果的输出样例了，读者可以自行逐句看看输出，理解一下各个方法的输出。