pandas

主要内容:

import pandas as pd
from pandas import Series, DataFrame
import numpy as np

1  Series是一种类似与一维数组的对象,由下面两个部分组成:values:一种数据类型;index:相应的数据索引标签.Series的创建

   a :两种创建 方式

　　　　1) 由列表和numpy数组组建,默认索引为0.

Series(data=[1,2,3,4], index=['ds','dsa','re','gr'], name='haha')

# 使用numpy创建Series
Series(data=np.arange(10,60,6))

　　　　2) 由字典创建: 不能再使用index, 但是依然存在默认索引.  注意: 数据源必须为一维数据

dic = {
    'math':100,
    'english':50
}
Series(data=dic, name='qimo')

　b: Series的索引和切片

　　　　1) 显示索引:使用index中的元素作为索引值 使用s.loc: 注意loc中括号中放置的一定是显示索引

　　　　2) 隐式索引: 使用整数作为索引值.使用s.iloc[]

s = Series(np.random.randint(60,100, size=(5,)), index=['a','b','c','d','e'] )
s.loc['a']

s.iloc[1]
s.iloc[[1,2,3]]

　　　　3 显示索引切片和隐式索引切片: s.loc['a':'c']

　　　　4)  Series的基本概念

　　　　　　可以把Series看成一个定长的有序字典 向series增加一行: 相当于给字典增加一组键值对;

s['g'] = 100
s

　　　　　　可以通过shape,size, index, values等得到series的属性

s.index
s.values

　　　　　　可以使用s.head(), tail分别查看前几个和后几个值

 s.head(3)
s.tail(3)

　　　　　　对Series元素进行去重

# 对Series元素进行去重
s = Series(data=[1,1,2,2,3,3,4,4,4,5,6,7,8,7,7,66,43,342,6665,444,333,444])
s.unique()    #Series中的去重函数

　　　　　　空值检测过滤.可以使用pd.isnull(), pd.notnull(), 或s.isnull()

s1 = Series(data=[1,2,3,4,5],index=['a','b','c','d','e'])
s2 = Series(data=[1,2,3,4,5],index=['a','b','c','f','g'])
s = s1+s2
s# 有空值
#进行空值过滤
s.loc[s.notnull()]

　　　　5) Series运算

　　　　　　在运算中自动补齐不同索引的数据

　　　　　　如果索引不对应,则补nan

2 DataFrame

　　a : DataFrame的概念

　　　　　　DataFrame是一个表格型的数据结构, 其由按一定顺序排列的多列数据组成.设计初衷是由Series的使用场景从一维拓展到多维. DataFrame既有行索引也有列索引 . index行索引, columns列索引, values值

　　b : DataFrame的创建

　　　　　　最常用的方法是传递一个字典来创建.DataFrame以字典的键作为每一列的名称,以字典的值(一个数组)作为每一列

dic = {
    'java':[60,70,80],
    'python':[100,100,100]
}
DataFrame(data=dic, index=['zhangsan','lisi','wangwu'])

t

df = DataFrame(data=np.random.randint(60,100,size=(3,3)),index=['a','b','c'],columns=['A','B','C'])

　　c : DataFrame索引

　　　　　　对列进行索引,通过类似字典的方式df['q'] 通过属性的方式 df.q 可以将DataFrame的列获取为一个series,返回的series拥有原DataFrame相同的索引,且name属性也已经设置哈, 就是相应的列名.

df = DataFrame(data=np.random.randint(60,150,size=(4,2)),index=['chinese','math','english','lizong'],columns=['zhangsan','li'])
df  

# 对列进行索引
df['li']

df[['zhangsan','li']]

# 对行进行索引
    -使用.loc[]加index进行索引
    -使用.iloc[]加整数来进行索引
# 同样返回一个series,index为原来的column
# 对前两行求索引
　　df.iloc[[0,1]]

　　　d : 切片

　　　　　　直接用中括号时: 索引表示的是列索引, 切片表示的是行切片

df = DataFrame(data=np.random.randint(60,150,size=(4,2)),index=['chinese','math','english','lizong'],columns=['zhangsan','li'])
df  

df['math':'lizong']

　　　　　　在loc和iloc中使用切片(切列): df.loc[:, 'zhangsan':'li']

　　　e : DataFrame的运算

df1=df.copy()

df.index=['math','lizong','a','b']
df1

df1.zhangsan.loc['math']=0
df1.loc['math','zhangsan']=1

　　f 创建多层索引

　　　　隐式构造: 最常见的方法就是给DataFrame构造函数的index或者columns参数传递两个或者更多的数组.

# 创建了一个索引对象,该索引对象为二层索引
df = DataFrame(np.random.randint(60,100,size=(2,4)),index=['tom','jay'],columns=[['qizhong','qimo','qizhong','qimo'],['chinese','math','chinese','math']])
df

　　　　显示构造: pd.MultIndex.from_

col = pd.MultiIndex.from_product([['qizhong','qimo'],['chinese','math']])
df = DataFrame(data=np.random.randint(60,120,size=(2,4)),columns=col, index=['tom','joy'])
df

　　h 处理空值,处理丢失数据

　　　　有两种丢失数据: None和np.NaN

1 None None是Python自带的, 其类型为python object.因此,None不能参与到任何运算中.
2 np.nan np.nan是浮点类型,能参与到运算中.但计算的结果总是nan

np.random.seed(10)
df=DataFrame(np.random.randint(50,200,size=(6,5)), index=['a','d','f','g','t','j'],columns=['D','R','G','E','M'])
df

# 将某些数组元素赋值为nan
df.iloc[1,3]=None
df.iloc[2,2]=np.nan
df.iloc[4,2]=None
df
#处理空值
df.loc[df.notnull().all(axis=1)]

　　　　过滤df中的空值(只保留没有空值的行)

　　　　　　df.dropna()可以选择过滤的是行还是列: axis=0默认是行,1表示的是列

　　　　　　df.drop()  通过label指定要删除的行或者列

　　　　　　df.fillna()  填充函数

np.random.seed(10)
df=DataFrame(np.random.randint(50,200,size=(6,5)), index=['a','d','f','g','t','j'],columns=['D','R','G','E','M'])
df
# drpna函数过滤空值
df.dropna(axis=0, inplace=True)
df

# drop函数去除指定的列
df.drop(labels='D', axis=1)


#填充函数:  fillna():  value和method参数
df.fillna(method='bfill',axis=0,limit=1)

可以选择向前填充或者向后填充
method控制填充的方式    bfill  ffill

　　l pandas的拼接操作:   见数据分析第一天

pandas的拼接分两种:
    级联: pd.concat,  pd.append
    合并: pd.merge,   pd.join