pandas

Pandas 是基于NumPy开发的结构化数据分析工具

Pandas 的主要数据结构是 Series（一维数据）与 DataFrame（二维数据），DataFrame 是 Series 的容器，Series 则是标量的容器。

创建数据

#导入模块包
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

#创建数据
s = pd.Series([1,3,5,np.nan,6,8])  #通过列表，创建Series
dates = pd.date_range('20130101', periods=6) #通过时间系列，创建DataFrame
df = pd.DataFrame(np.random.randn(6,4), index=dates, columns=list('ABCD'))
df2 = pd.DataFrame({ 'A' : 1.,
                    'B' : pd.Timestamp('20130102'),
                    'C' : pd.Series(1,index=list(range(4)),dtype='float32'),
                    'D' : np.array([3] * 4,dtype='int32'),
                    'E' : pd.Categorical(["test","train","test","train"]),
                    'F' : 'foo' })  #通过字典，创建DataFrame
print(df2.dtypes)  #查看数据类型，dtype报错
print(s.dtype)  #dtype和dtypes都可以

 查看数据 

#查看数据

df.head() #查看起始前5个数据，默认5
df.tail(3) #查看最末尾3个数据
df.index  #查看索引,不是df.index()
df.columns  #查看列名
df.values   #查看值
df.describe()  #简单的统计描述
df.info()  #
df.T  #转置
df.sort_index(axis=1,ascending=False) #通过轴排序
df.sort_values(by='B') #通过值排序

数据选取

• 通过标签选取
• 通过位置选取
• 通过布林值索引选取

虽然标准的Python/Numpy的选择和设置表达式都能够直接派上用场，但是作为工程使用的代码，推荐使用经过优化的pandas数据访问方式： .at, .iat, .loc, .iloc 和 .ix详情请参阅Indexing and Selecing Data 和 MultiIndex / Advanced Indexing。

#数据选取

df['A']  #选取A列,'A'是列名称，等同于df.A
df[0:3]  #选取前3行，切片数据[:]
df['20130102':'20130104']  #通过行标签选择

通过标签选取

df.loc[dates[0]]  #获取第一行的交叉数据
df.loc[:,['A','B']]  #只选择'A'和'B'两列的数据
df.loc['20130102':'20130104',['A','B']]  #选取特定行区间和列区间的值
df.loc['20130102',['A','B']]
df.loc[dates[0],'A']  #选取特定的值  df.loc['20130101','A']
df.at[dates[0],'A']  #at的效率高于loc，%timeit df.at[dates[0],'A'] 与 %timeit df.loc[dates[0],'A']  对比


通过位置选取

df.iloc[3]  #通过数字的标签选取某行
df.iloc[3:5,0:2]   #
df.iloc[[1,2,4],[0,2]]
df.iloc[1:3,:]
df.iloc[:,1:3]  #选取所有的行，某几列
df.iloc[1,1]
df.iat[1,1]

通过布林值索引选取

df[df.A > 0]
df[df > 0]  #选取表中所有大于0的元素
df2 = df.copy()
df2['E'] = ['one', 'one','two','three','four','three']
df2[df2['E'].isin(['two','four'])]  # 数据过滤

设置

s1 = pd.Series([1,2,3,4,5,6], index=pd.date_range('20130102', periods=6)) #创建一个新列
df.at[dates[0],'A'] = 0  #通过标签修改元素
df.iat[0,1] = 0  #通过位置修改元素
df.loc[:,'D'] = np.array([5] * len(df))  # numpy array，修改元素
df2 = df.copy()
df2[df2 > 0] = -df2  # 通过where操作来设置新的值

缺失值处理

在pandas中，使用np.nan来代替缺失值，这些值将默认不会包含在计算中，详情请参阅：Missing Data Section。

df1 = df.reindex(index=dates[0:4], columns=list(df.columns) + ['E']) 
df1.loc[dates[0]:dates[1],'E'] = 1 # reindex()对指定轴上的索引进行改变/增加/删除操作
df1.dropna(how='any')  #去掉包含缺失值的行
df1.fillna(value=5)  #缺失值填充
pd.isnull(df1)  #布尔值查看是否有缺失值，缺失值True

基本操作

参照 Basic Section On Binary Ops

统计

空数据不参与计算

df.mean()  #平均值
df.mean(1)  #按行求平均值
s = pd.Series([1,3,5,np.nan,6,8], index=dates).shift(2)
df.sub(s, axis='index')  #按行相减，对于拥有不同维度，需要对齐的对象进行操作。Pandas会自动的沿着指定的维度进行广播
df.cumsum() #求累加值，空值不参与计算

Apply方法

df.apply(np.cumsum) #按列累加
df.apply(lambda x: x.max() - x.min())  #lambda函数，最大值减去最小值

直方图

详情请查看Histogramming and Discretization

s = pd.Series(np.random.randint(0, 7, size=10)) #在0-7之间创建10个随机数
s.value_counts()  #每个数值有多少个

字符串方法

Series对象在其str属性中配备了一组字符串处理方法，可以很容易的应用到数组中的每个元素，如下段代码所示。更多详情请参考：Vectorized String Methods.

s = pd.Series(['A', 'B', 'C', 'Aaba', 'Baca', np.nan, 'CABA', 'dog', 'cat'])
s.str.lower()  #变小写

数据合并

• Concat
• Join
• Append

Pandas提供了大量的方法能够轻松的对Series，DataFrame和Panel对象进行各种符合各种逻辑关系的合并操作。具体请参阅：Merging section

Concat

df = pd.DataFrame(np.random.randn(10, 4))
pieces = [df[:3], df[3:7], df[7:]] #前3行，4-7行，7到最后
df1 = pd.concat(pieces) #将所有数据合并起来，还原成原来的数据集  df1 == df,（df == df1）.all().all(),验证是否相同

Join 

类似于SQL类型的合并，具体请参阅：Database style joining

left = pd.DataFrame({'key': ['foo', 'foo'], 'lval': [1, 2]})
right = pd.DataFrame({'key': ['foo', 'foo'], 'rval': [4, 5]})
pd.merge(left, right, on='key')  #等价SQL语句 select * from left inner jion right on left.key=right.key;

left = pd.DataFrame({'key': ['foo', 'bar'], 'lval': [1, 2]})
right = pd.DataFrame({'key': ['foo', 'bar'], 'rval': [4, 5]})
pd.merge(left, right, on='key')

Append

一行连接到一个DataFrame上，具体请参阅Appending

df = pd.DataFrame(np.random.randn(8, 4), columns=['A','B','C','D'])
s = df.iloc[3]
df.append(s, ignore_index=True)  #直接插入一行

分组统计

对于”group by”操作，我们通常是指以下一个或多个操作步骤：

• Splitting：按照一些规则将数据分为不同的组；
• Applying：对于每组数据分别执行一个函数；
• Combining：将结果组合到一个数据结构中；

详情请参阅：Grouping section

df = pd.DataFrame({'A' : ['foo', 'bar', 'foo', 'bar','foo', 'bar', 'foo', 'foo'],
                   'B' : ['one', 'one', 'two', 'three','two', 'two', 'one', 'three'],
                   'C' : np.random.randn(8),
                   'D' : np.random.randn(8)})
df.groupby('A').sum()  #通过'A'列分组，然后求和
df.groupby(['A','B']).sum()  #双重索引分组，然后求和

数据整型

详情请参阅 Hierarchical Indexing 和 Reshaping。

stack方法

tuples = list(zip(*[['bar', 'bar', 'baz', 'baz','foo', 'foo', 'qux', 'qux'],
                    ['one', 'two', 'one', 'two','one', 'two', 'one', 'two']]))
index = pd.MultiIndex.from_tuples(tuples, names=['first', 'second']) #双重索引，并命名为first和second
df = pd.DataFrame(np.random.randn(8, 2), index=index, columns=['A', 'B'])
df2 = df[:4]
stacked = df2.stack() #行和列转换
stacked.unstack()  #行和列再次转换回来，恢复
stacked.unstack(1)
stacked.unstack(0)

数据透视表

详情请参阅：Pivot Tables.

df = pd.DataFrame({'A' : ['one', 'one', 'two', 'three'] * 3,
                   'B' : ['A', 'B', 'C'] * 4,
                   'C' : ['foo', 'foo', 'foo', 'bar', 'bar', 'bar'] * 2,
                   'D' : np.random.randn(12),
                   'E' : np.random.randn(12)})
pd.pivot_table(df, values='D', index=['A', 'B'], columns=['C']) #'A''B'为行，'C'为列，‘D’的值
df.pivot_talbe(values=['E'],index=['A'],columns=['C'])#A为行，C为列，E的值 ,df(df.A=='one').groupby('C').mean()

时间序列

Pandas在对频率转换进行重新采样时拥有简单、强大且高效的功能（如将按秒采样的数据转换为按5分钟为单位进行采样的数据）。这种操作在金融领域非常常见。

具体参照：Time Series section

rng = pd.date_range('1/1/2012', periods=100, freq='S')  #100个以秒为单位的数据
ts = pd.Series(np.random.randint(0, 500, len(rng)), index=rng)
ts.resample('5Min').sum()  #重新采样


rng = pd.date_range('3/6/2012 00:00', periods=5, freq='D')
ts = pd.Series(np.random.randn(len(rng)), rng)
ts_utc = ts.tz_localize('UTC')

ts_utc.tz_convert('US/Eastern')

rng = pd.date_range('1/1/2012', periods=5, freq='M')
ts = pd.Series(np.random.randn(len(rng)), index=rng)
ps = ts.to_period()
ps.to_timestamp()


prng = pd.period_range('1990Q1', '2000Q4', freq='Q-NOV')
ts = pd.Series(np.random.randn(len(prng)), prng)
ts.index = (prng.asfreq('M', 'e') + 1).asfreq('H', 's') + 9


pd.Timestamp('20170422') - pd.Timestamp('20170206')
pd.Timestamp('20170422') + pd.Timestamp('days = 5')