Pandas的数据结构
导入pandas：
三剑客
import pandas as pd from pandas import Series,DataFrame import numpy as np
1、Series
Series是一种类似与一维数组的对象，由下面两个部分组成：
values：一组数据（ndarray类型）
index：相关的数据索引标签
1）Series的创建
两种创建方式：
(1) 由列表或numpy数组创建
默认索引为0到N-1的整数型索引
#使用列表创建Series Series(data=[1,2,3,4,5]) 0 1 1 2 2 3 3 4 4 5 dtype: int64
#使用numpy创建Series Series(data=np.random.randint(1,40,size=(5,)),index=['a','d','f','g','t'],name='bobo') a 3 d 22 f 35 g 19 t 21 Name: bobo, dtype: int32 还可以通过设置index参数指定索引
(2) 由字典创建:不能在使用index.但是依然存在默认索引
注意：数据源必须为一维数据
dic = { '语文':100, '英语':99 } s = Series(data=dic)
s
语文 100 英语 99 dtype: int64
2）Series的索引和切片
可以使用中括号取单个索引（此时返回的是元素类型），或者中括号里一个列表取多个索引（此时返回的是一个Series类型）。
(1) 显式索引：
- 使用index中的元素作为索引值
- 使用s.loc[]（推荐）:注意，loc中括号中放置的一定是显示索引注意，此时是闭区间
s.iloc[1]
99
(2) 隐式索引：
- 使用整数作为索引值
- 使用.iloc[]（推荐）:iloc中的中括号中必须放置隐式索引注意，此时是半开区间
切片:隐式索引切片和显示索引切片
- 显示索引切片:index和loc
s.iloc[0:2] 语文 100 英语 99 dtype: int64 隐式索引切片：整数索引值和iloc
3）Series的基本概念
可以把Series看成一个定长的有序字典
向Series增加一行：相当于给字典增加一组键值对
可以通过shape，size，index,values等得到series的属性
s.index Index(['语文', '英语'], dtype='object') s.values array([100, 99], dtype=int64) 可以使用s.head(),tail()分别查看前n个和后n个值 s.head(1) 语文 100 dtype: int64
去重
对Series元素进行去重 s = Series(data=[1,1,2,2,3,3,4,4,4,4,4,5,6,7,55,55,44]) s.unique() array([ 1, 2, 3, 4, 5, 6, 7, 55, 44], dtype=int64)
当索引没有对应的值时，可能出现缺失数据显示NaN（not a number）的情况 使得两个Series进行相加:索引与之对应的元素会进行算数运算,不对应的就补空 s1 = Series([1,2,3,4,5],index=['a','b','c','d','e']) s2 = Series([1,2,3,4,5],index=['a','b','f','c','e']) s = s1+s2 s a 2.0 b 4.0 c 7.0 d NaN e 10.0 f NaN dtype: float64
可以使用pd.isnull()，pd.notnull()，或s.isnull(),notnull()函数检测缺失数据 s.notnull() a True b True c True d False e True f False dtype: bool s[s.notnull()] a 2.0 b 4.0 c 7.0 e 10.0 dtype: float64
4）Series的运算
1) + - * / (2) add() sub() mul() div() : s1.add(s2,fill_value=0) s1.add(s2) a 2.0 b 4.0 c 7.0 d NaN e 10.0 f NaN dtype: float64
(3) Series之间的运算
- 在运算中自动对齐不同索引的数据
- 如果索引不对应，则补NaN
2、DataFrame
DataFrame是一个【表格型】的数据结构。DataFrame由按一定顺序排列的多列数据组成。设计初衷是将Series的使用场景从一维拓展到多维。DataFrame既有行索引，也有列索引。
行索引：index
列索引：columns
值：values
1）DataFrame的创建
最常用的方法是传递一个字典来创建。DataFrame以字典的键作为每一【列】的名称，以字典的值（一个数组）作为每一列。
此外，DataFrame会自动加上每一行的索引。
使用字典创建的DataFrame后，则columns参数将不可被使用。
同Series一样，若传入的列与字典的键不匹配，则相应的值为NaN。
- 使用ndarray创建DataFrame
DataFrame(data=np.random.randint(0,100,size=(5,6))) 0 1 2 3 4 5 0 32 93 0 23 21 40 1 27 35 9 76 41 68 2 63 96 63 30 96 51 3 2 50 28 26 26 41 4 32 74 97 84 56 7
DataFrame属性：values、columns、index、shape df.values array([[77, 67], [88, 88], [99, 99], [90, 78]], dtype=int64) df.index Index(['语文', '数学', '英语', '理综'], dtype='object')
使用ndarray创建DataFrame：创建一个表格用于展示张三，李四，王五的java，python的成绩 dic = { '张三':[77,88,99,90], '李四':[67,88,99,78] } df = DataFrame(data=dic,index=['语文','数学','英语','理综']) df 张三 李四 语文 77 67 数学 88 88 英语 99 99 理综 90 78
2）DataFrame的索引
(1) 对列进行索引
- 通过类似字典的方式 df['q']
- 通过属性的方式 df.q可以将DataFrame的列获取为一个Series。返回的Series拥有原DataFrame相同的索引，且name属性也已经设置好了，就是相应的列名。
df 张三 李四 语文 77 67 数学 88 88 英语 99 99 理综 90 78 df['张三'] 语文 77 数学 88 英语 99 理综 90 Name: 张三, dtype: int64 df.张三 语文 77 数学 88 英语 99 理综 90 Name: 张三, dtype: int64 df[['李四','张三']] 李四 张三 语文 67 77 数学 88 88 英语 99 99 理综 78 90
#修改列索引 df.columns = ['zhangsan','lisi'] df zhangsan lisi 语文 77 67 数学 88 88 英语 99 99 理综 90 78
(2) 对行进行索引
- 使用.loc[]加index来进行行索引
- 使用.iloc[]加整数来进行行索引同样返回一个Series，index为原来的columns。
df.iloc[[0,1]] zhangsan lisi 语文 77 67 数学 88 88
(3) 对元素索引的方法
- 使用列索引
- 使用行索引(iloc[3,1] or loc['C','q']) 行索引在前，列索引在后
df.iloc[0,1]
67
切片：
注意】 直接用中括号时：
- 索引表示的是列索引
- 切片表示的是行切片
df[0:2] zhangsan lisi 语文 77 67 数学 88 88 在loc和iloc中使用切片(切列) ： df.loc['B':'C','丙':'丁'] df.iloc[:,0:1] zhangsan 语文 77 数学 88 英语 99 理综 90
3）DataFrame的运算
（1） DataFrame之间的运算
同Series一样：
- 在运算中自动对齐不同索引的数据
- 如果索引不对应，则补NaN
练习6：
假设ddd是期中考试成绩，ddd2是期末考试成绩，请自由创建ddd2，并将其与ddd相加，求期中期末平均值。
假设张三期中考试数学被发现作弊，要记为0分，如何实现？
李四因为举报张三作弊立功，期中考试所有科目加100分，如何实现？
后来老师发现有一道题出错了，为了安抚学生情绪，给每位学生每个科目都加10分，如何实现？
df zhangsan lisi 语文 87 177 数学 10 198 英语 109 209 理综 100 188 df.loc['数学','zhangsan'] = 0 df['lisi'] += 100 df += 10 (df+df)/2 zhangsan lisi 语文 77 67 数学 88 88 英语 99 99 理综 90 78