pandas入门

一、pandas的定义

基于numpy的数据结构，主要有一维数组Series和二维数组DataFrame两种结构

二、Series的基本概念

import numpy as np
import pandas as pd

s = pd.Series(np.random.rand(5))
print(s)
print(type(s))
# 是一个带有标签的一维数组，可以保存任何的数据类型（整数，字符串，浮点数，Python对象），轴标签，成为索引 index
print(s.index)
print(s.values, type(s.values))
# series相比Ndarry，就是自带了一个索引 一维数组 + 对应的索引
# series 更像一个有顺序的字典

三、Series的创建

3.1 由数组（一维数组）和列表创建

arr = np.random.randn(5)
s = pd.Series(arr)
print(s)
# index 默认使用整数
s = pd.Series(arr, index=list('abcde'))
pd.Series([1,2,3,4,5], index=list('abcde'), dtype=np.float64)

3.2 由字典创建，字典的key就是index，values就是values

dic = {'a':1, 'b': 2, 'c':'a'}
s = pd.Series(dic)
print(s)

3.3 由标量创建

s = pd.Series(10, index=list('abcde'))
s
# 如果由标量创建，必须提供index，来匹配长度

3.4 名称属性

s = pd.Series(10, index=list('abcde'), name='ten')
s.name
s.rename #重命名

四、Series的索引和切片

4.1 位置下标，跟序列差不多

s = pd.Series(np.random.rand(5))
print(s)
print(s[0], type(s[0]))
s[[1,4]]

4.2 标签索引，相当于字典

s = pd.Series(np.random.rand(5),index=list('abcde'))
print(s)
print(s['a'], type(s['a']), s['a'].dtype)
# 选择多个[[]]  返回的是新的Series对象
s[['a', 'd']]

4.3 切片

s1 = pd.Series(np.random.rand(5))
s2 = pd.Series(np.random.rand(5), index=list('abcde'))
print(s1[1:4])
print(s2['a':'c'])
# 注意：用标签索引切片，闭区间  字符串索引，
# 切片的写法和list一致
s2[::2]

4.4 布尔型索引

s = pd.Series(np.arange(10))
s[4] = None
bs1 = s>5
bs2 = s.isnull()
bs3 = s.notnull()
bs3
# 数组做判断之后，返回的是一个由布尔值组成的新的数组
s[bs3]

五、Series的常用操作

5.1 数据查看

s = pd.Series(np.random.rand(50))
s.head(10) #查看头部前10个数据
s.tail(10) #查看尾部后10个数据

5.2 数据重新索引

s = pd.Series(np.random.rand(5), index=list('abcde'))
s.reindex(['c', 'd', 'a', 'd', 'ab'])
# .reindex 根据索引重新排序,如果索引不存在 ，引入缺失值
# 返回新的序列
# fill_value 填充缺失值
print(s)
print('********')
print(s.reindex(['c', 'd', 'a','a', 'd', 'ab'], fill_value=0))
print('********')
print(s)

5.3 数据对齐

s1 = pd.Series(np.random.rand(3), index = ['Jack','Marry','Tom'])
s2 = pd.Series(np.random.rand(3), index = ['Wang','Jack','Marry'])
print(s1)
print(s2)
print(s1 + s2)
# 会根据index 自动对齐
# index顺序不影响
# NaN和任何值进行计算都是NaN

5.4 数据删除

s = pd.Series(np.random.rand(5), index=list('abcde'))

s.drop('c')
# drop 默认返回一个删除了指定数据的新的series
s.drop(['a','c'])
#s.drop('c', inplace=True)
#s
# inplace=True时，drop不会返回新的序列，会直接改变原数据
# inplace 默认等于False

5.5 数据添加

s = pd.Series(np.random.rand(5), index=list('abcde'))
s2 = pd.Series(np.random.rand(5))
s['f'] = 100
s2[5] = 100
s2
# .append方法，直接添加一个数组
s1=s.append(s2)
s1
# .append()返回一个新的series， 不改变原数据

5.6 数据修改

s = pd.Series(np.random.rand(5), index=list('abcde'))
print(s)
s['a'] = 100
print(s)
# 直接通过索引赋值，类似列表

六、DataFrame的基本概念和创建

6.1 基本概念

二维数组，是一个表个型的数据结构，包含了有序的列，其列的值可以是字符串，数值，布尔值等，带有标签的二维数组。

data = {'name':['Jack','Tom','Mary'],
        'age':[18,19,20],
       'gender':['m','m','w']}
frame = pd.DataFrame(data)
print(frame)
# 二维数组，是一个表个型的数据结构，包含了有序的列，其列的值可以是字符串，数值，布尔值等
# 带有标签的二维数组
print(frame.index) #数据的索引
print(frame.columns) #数据的列标签
print(frame.values, type(frame.values)) #数据的值

6.2 DataFrame的创建

6.2.1 由数组/list组成的字典创建

data = {'name':['Jack','Tom','Mary'],
        'age':[18,19,20],
       'gender':['m','m','w']}
frame = pd.DataFrame(data,index=['Jack', 'Tom', 'Mary'], columns=['age', 'name', 'gender', 'height'])
#  一个键值对 ，是一列,所以值的长度要一致
print(frame)
# 指定columns参数重新排序，格式list，如果没有该列，用NaN填充
#  指定index 重新定义行索引，格式list，长度一致

6.2.2 由Series组成的字典创建

data1 = {'one':pd.Series(np.random.rand(2)),
        'two':pd.Series(np.random.rand(3))}  # 没有设置index的Series
data2 = {'one':pd.Series(np.random.rand(2), index = ['a','b']),
        'two':pd.Series(np.random.rand(3),index = ['a','b','c'])}  # 设置了index的Series
print(data1)
#print(data2)
df1 = pd.DataFrame(data1)
df2 = pd.DataFrame(data2)
print(df1)
print(df2)
# 由Seris组成的字典 创建Dataframe，columns为字典key，index为Series的标签（如果Series没有指定标签，则是默认数字标签）
# Series可以长度不一样，生成的Dataframe会出现NaN值

6.2.3 通过二维数组直接创建

ar = np.random.rand(9).reshape(3,3)
print(ar)
df1 = pd.DataFrame(ar)
df2 = pd.DataFrame(ar, index = ['a', 'b', 'c'], columns = ['one','two','three'])  # 可以尝试一下index或columns长度不等于已有数组的情况
print(df1)
print(df2)
# 通过二维数组直接创建Dataframe，得到一样形状的结果数据，如果不指定index和columns，两者均返回默认数字格式
# index和colunms指定长度与原数组保持一致

6.2.4 由字典组成的列表创建

data = [{'one': 1, 'two': 2}, {'one': 5, 'two': 10, 'three': 20}]
print(data)
df1 = pd.DataFrame(data)
df2 = pd.DataFrame(data, index = ['a','b'])
df3 = pd.DataFrame(data, columns = ['one','two'])
print(df1)
print(df2)
print(df3)
# 由字典组成的列表创建Dataframe，columns为字典的key，index不做指定则为默认数组标签
# colunms和index参数分别重新指定相应列及行标签

6.2.5 由字典组成的字典创建

data = {'Jack':{'math':90,'english':89,'art':78},
       'Marry':{'math':82,'english':95,'art':92},
       'Tom':{'math':78,'english':67}}
df1 = pd.DataFrame(data)
print(df1)
# 由字典组成的字典创建Dataframe，columns为字典的key，index为子字典的key

df2 = pd.DataFrame(data, columns = ['Jack','Tom','Bob'])
df3 = pd.DataFrame(data, index = ['a','b','c'])
print(df2)
print(df3)
# columns参数可以增加和减少现有列，如出现新的列，值为NaN
# index在这里和之前不同，并不能改变原有index，如果指向新的标签，值为NaN （非常重要！）