python数据分析——pandas的数据结构

Pandas的数据结构

导入pandas：
三剑客

In [3]:

import pandas as pd
from pandas import Series,DataFrame
import numpy as np

1、Series

Series是一种类似与一维数组的对象，由下面两个部分组成：

• values：一组数据（ndarray类型）
• index：相关的数据索引标签

1）Series的创建

两种创建方式：

(1) 由列表或numpy数组创建

默认索引为0到N-1的整数型索引

In [2]:

#使用列表创建Series
Series(data=[1,2,3,4,5])

Out[2]:

0    1
1    2
2    3
3    4
4    5
dtype: int64

In [7]:

#使用numpy创建Series
Series(data=np.random.randint(1,40,size=(5,)),index=['a','d','f','g','t'],name='bobo')

Out[7]:

a     3
d    22
f    35
g    19
t    21
Name: bobo, dtype: int32

• 还可以通过设置index参数指定索引

(2) 由字典创建:不能在使用index.但是依然存在默认索引

注意：数据源必须为一维数据

In [11]:

dic = {
    '语文':100,
    '英语':99
}
s = Series(data=dic)

============================================

练习1：

使用多种方法创建以下Series，命名为s1：
语文 150
数学 150
英语 150
理综 300

============================================

2）Series的索引和切片

可以使用中括号取单个索引（此时返回的是元素类型），或者中括号里一个列表取多个索引（此时返回的是一个Series类型）。

(1) 显式索引：

- 使用index中的元素作为索引值
- 使用s.loc[]（推荐）:注意，loc中括号中放置的一定是显示索引

注意，此时是闭区间

In [16]:

s.iloc[1]

Out[16]:

99

(2) 隐式索引：

- 使用整数作为索引值
- 使用.iloc[]（推荐）:iloc中的中括号中必须放置隐式索引

注意，此时是半开区间

切片:隐式索引切片和显示索引切片

• 显示索引切片:index和loc

In [19]:

s.iloc[0:2]

Out[19]:

语文    100
英语     99
dtype: int64

• 隐式索引切片：整数索引值和iloc

3）Series的基本概念

可以把Series看成一个定长的有序字典

向Series增加一行：相当于给字典增加一组键值对

可以通过shape，size，index,values等得到series的属性

In [20]:

s.index

Out[20]:

Index(['语文', '英语'], dtype='object')

In [21]:

s.values

Out[21]:

array([100,  99], dtype=int64)

可以使用s.head(),tail()分别查看前n个和后n个值

In [22]:

s.head(1)

Out[22]:

语文    100
dtype: int64

对Series元素进行去重

In [24]:

s = Series(data=[1,1,2,2,3,3,4,4,4,4,4,5,6,7,55,55,44])
s.unique()

Out[24]:

array([ 1,  2,  3,  4,  5,  6,  7, 55, 44], dtype=int64)

当索引没有对应的值时，可能出现缺失数据显示NaN（not a number）的情况

• 使得两个Series进行相加:索引与之对应的元素会进行算数运算,不对应的就补空

In [26]:

s1 = Series([1,2,3,4,5],index=['a','b','c','d','e'])
s2 = Series([1,2,3,4,5],index=['a','b','f','c','e'])
s = s1+s2
s

Out[26]:

a     2.0
b     4.0
c     7.0
d     NaN
e    10.0
f     NaN
dtype: float64

可以使用pd.isnull()，pd.notnull()，或s.isnull(),notnull()函数检测缺失数据

In [33]:

s.notnull()

Out[33]:

a     True
b     True
c     True
d    False
e     True
f    False
dtype: bool

In [34]:

s[s.notnull()]

Out[34]:

a     2.0
b     4.0
c     7.0
e    10.0
dtype: float64

4）Series的运算

(1) + - * /

(2) add() sub() mul() div() : s1.add(s2,fill_value=0)

In [35]:

s1.add(s2)

Out[35]:

a     2.0
b     4.0
c     7.0
d     NaN
e    10.0
f     NaN
dtype: float64

(3) Series之间的运算

• 在运算中自动对齐不同索引的数据
• 如果索引不对应，则补NaN

============================================

练习3：

1. 想一想Series运算和ndarray运算的规则有什么不同？

2. 新建另一个索引包含“文综”的Series s2，并与s2进行多种算术操作。

============================================

2、DataFrame

DataFrame是一个【表格型】的数据结构。DataFrame由按一定顺序排列的多列数据组成。设计初衷是将Series的使用场景从一维拓展到多维。DataFrame既有行索引，也有列索引。

• 行索引：index
• 列索引：columns
• 值：values

1）DataFrame的创建

最常用的方法是传递一个字典来创建。DataFrame以字典的键作为每一【列】的名称，以字典的值（一个数组）作为每一列。

此外，DataFrame会自动加上每一行的索引。

使用字典创建的DataFrame后，则columns参数将不可被使用。

同Series一样，若传入的列与字典的键不匹配，则相应的值为NaN。

• 使用ndarray创建DataFrame

In [36]:

DataFrame(data=np.random.randint(0,100,size=(5,6)))

Out[36]:

	0	1	2	3	4	5
0	32	93	0	23	21	40
1	27	35	9	76	41	68
2	63	96	63	30	96	51
3	2	50	28	26	26	41
4	32	74	97	84	56	7

DataFrame属性：values、columns、index、shape

In [40]:

df.values

Out[40]:

array([[77, 67],
       [88, 88],
       [99, 99],
       [90, 78]], dtype=int64)

In [41]:

df.index

Out[41]:

Index(['语文', '数学', '英语', '理综'], dtype='object')

使用ndarray创建DataFrame：创建一个表格用于展示张三，李四，王五的java，python的成绩

In [39]:

dic = {
    '张三':[77,88,99,90],
    '李四':[67,88,99,78]
}
df = DataFrame(data=dic,index=['语文','数学','英语','理综'])
df

Out[39]:

	张三	李四
语文	77	67
数学	88	88
英语	99	99
理综	90	78

============================================

练习4：

根据以下考试成绩表，创建一个DataFrame，命名为df：

    张三  李四  
语文 150  0
数学 150  0
英语 150  0
理综 300  0

============================================

2）DataFrame的索引

(1) 对列进行索引

- 通过类似字典的方式  df['q']
- 通过属性的方式     df.q

可以将DataFrame的列获取为一个Series。返回的Series拥有原DataFrame相同的索引，且name属性也已经设置好了，就是相应的列名。

In [44]:

df

Out[44]:

	张三	李四
语文	77	67
数学	88	88
英语	99	99
理综	90	78

In [48]:

df['张三']

Out[48]:

语文    77
数学    88
英语    99
理综    90
Name: 张三, dtype: int64

In [49]:

df.张三

Out[49]:

语文    77
数学    88
英语    99
理综    90
Name: 张三, dtype: int64

In [50]:

df[['李四','张三']]

Out[50]:

	李四	张三
语文	67	77
数学	88	88
英语	99	99
理综	78	90

In [52]:

#修改列索引
df.columns = ['zhangsan','lisi']
df

Out[52]:

	zhangsan	lisi
语文	77	67
数学	88	88
英语	99	99
理综	90	78

(2) 对行进行索引

- 使用.loc[]加index来进行行索引
- 使用.iloc[]加整数来进行行索引

同样返回一个Series，index为原来的columns。

In [58]:

df.iloc[[0,1]]

Out[58]:

	zhangsan	lisi
语文	77	67
数学	88	88

 

(3) 对元素索引的方法

- 使用列索引
- 使用行索引(iloc[3,1] or loc['C','q']) 行索引在前，列索引在后

In [59]:

df.iloc[0,1]

Out[59]:

67

切片：

【注意】 直接用中括号时：

• 索引表示的是列索引
• 切片表示的是行切片

In [62]:

df[0:2]

Out[62]:

	zhangsan	lisi
语文	77	67
数学	88	88

在loc和iloc中使用切片(切列) ： df.loc['B':'C','丙':'丁']

In [65]:

df.iloc[:,0:1]

Out[65]:

	zhangsan
语文	77
数学	88
英语	99
理综	90

============================================

练习5：

使用多种方法对ddd进行索引和切片，并比较其中的区别

============================================

3）DataFrame的运算

（1） DataFrame之间的运算

同Series一样：

• 在运算中自动对齐不同索引的数据
• 如果索引不对应，则补NaN

创建DataFrame df1 不同人员的各科目成绩，月考一

创建DataFrame df2 不同人员的各科目成绩，月考二
有新学生转入

============================================

练习6：

1. 假设ddd是期中考试成绩，ddd2是期末考试成绩，请自由创建ddd2，并将其与ddd相加，求期中期末平均值。

2. 假设张三期中考试数学被发现作弊，要记为0分，如何实现？

3. 李四因为举报张三作弊立功，期中考试所有科目加100分，如何实现？

4. 后来老师发现有一道题出错了，为了安抚学生情绪，给每位学生每个科目都加10分，如何实现？

============================================

In [76]:

df 

Out[76]:

	zhangsan	lisi
语文	87	177
数学	10	198
英语	109	209
理综	100	188

In [70]:

df.loc['数学','zhangsan'] = 0

In [73]:

df['lisi'] += 100

In [75]:

df += 10

In [68]:

(df+df)/2

Out[68]:

	zhangsan	lisi
语文	77	67
数学	88	88
英语	99	99
理综	90	78