pandas2

1、Series
创建的方法统一为pd.Series(data,index=)
（1,2,3）
Series可以通过三种形式创建：python的dict、numpy当中的ndarray（numpy中的基本数据结构）、具体某个数值。index赋值必须是list类型。
s = pd.Series({‘a’=1,’b’=2,’d’=3},index = [‘a’,’d’,’c’,b’])
s = pd.Series(np.random.randn(5), index = list('ABCDE')
s=pd.Series([5,4])     s=pd.Series([5,4],index=list[‘abcd’])


2、DataFrame
DataFrame统一的创建形式为：pd.DataFrame(data,columns=,index=)
（1）
#创建日期索引序列
dates = pd.date_range('20130101', periods=6)
#创建Dataframe，其中 index 决定索引序列，columns 决定列名
df = pd.DataFrame(np.random.randn(6,4), index=dates, columns=list('ABCD'))
print df
（2）
df2 = pd.DataFrame({ 'A' : 1.,
   'B' : pd.Timestamp('20130102'),
   'C' : pd.Series(1,index=list(range(4)),dtype='float32'),
   'D' : np.array([3] * 4,dtype='int32'),
   'E' : pd.Categorical(["test","train","test","train"]),
   'F' : 'foo' })

***********************************************
3.选择/切片
# 选择单独的一列，返回 Serires，与 df.A 效果相当。
df['A']
 
# 位置切片
df[0:3]
 
# 索引切片
df['20130102':'20130104']
 
#　通过标签选择
df.loc[dates[0]]
 
# 对多个轴同时通过标签进行选择
df.loc[:,['A','B']]
 
# 获得某一个单元的数据
df.loc[dates[0],'A']
# 或者
df.at[dates[0],'A'] #　速度更快的做法
 
# 通过位置进行选择
df.iloc[3]
 
# 切片
df.iloc[3:5,0:2]
 
# 列表选择
df.iloc[[1,2,4],[0,2]]
 
# 获得某一个单元的数据
df.iloc[1,1]
# 或者
df.iat[1,1] # 更快的做法
 
# 布尔索引
df[df.A > 0]
 
# 获得大于零的项的数值
df[df > 0]
 
# isin 过滤
df2[df2['E'].isin(['two','four'])]

其中，loc表示通过行标签索引行数据       需要注意的是，dataframe的索引[1:3]是包含1,2,3的，与平时的不同。？？？？？
      at表示  at的使用方法与loc类似，但是比loc有更快的访问数据的速度，而且只能访问单个元素，不能访问多个元素。
      iloc表示通过行号获取行数据        如果说loc是按照索引（index）的值来选取的话，
                                        那么iloc就是按照索引的位置来进行选取。iloc不关心索引的具体值是多少，只关心位置是多少，所以使用iloc时方括号中只能使用数值。
      iat表示  iat对于iloc的关系就像at对于loc的关系，是一种更快的基于索引位置的选择方法，同at一样只能访问单个元素
      ix       以上说过的几种方法都要求查询的秩在索引中，或者位置不超过长度范围，而ix允许你得到不在DataFrame索引中的数据。
注意：
   1.data[:7][['rnd_1', 'rnd_2']]  选前6行，中括号中的这两列
     但是loc与第一种方法不同之处在于会把第5行也选择进去，而第一种方法只会选择到第4行为止。

***************************************************
4.赋值
s1 = pd.Series([1,2,3,4,5,6], index=pd.date_range('20130102', periods=6))
df['F'] = s1
df1 = df.reindex(index=dates[0:4], columns=list(df.columns) + ['E'])
df1.loc[dates[0]:dates[1],'E'] = 1

# 删除所有带有缺省项的行
df1.dropna(how='any')
 
# 填充缺省项
df1.fillna(value=5)
 
# 获得缺省项的布尔掩码
pd.isnull(df1)

*******************************************************
5.观察操作
# 观察开头的数据
df.head()
 
# 观察末尾的数据
df.tail(3)
 
# 显示索引
df.index
 
# 显示列
df.columns
 
# 显示底层 numpy 结构
df.values
 




# DataFrame 的基本统计学属性预览
df.describe()
"""
  A  B  C  D
count 6.000000 6.000000 6.000000 6.000000 #数量
mean 0.073711 -0.431125 -0.687758 -0.233103 #平均值
std 0.843157 0.922818 0.779887 0.973118 #标准差
min -0.861849 -2.104569 -1.509059 -1.135632 #最小值
25% -0.611510 -0.600794 -1.368714 -1.076610 #正态分布 25%
50% 0.022070 -0.228039 -0.767252 -0.386188 #正态分布 50%
75% 0.658444 0.041933 -0.034326 0.461706 #正态分布 75%
max 1.212112 0.567020 0.276232 1.071804 #最大值
"""
 
# 转置
df.T
 
# 根据某一轴的索引进行排序
df.sort_index(axis=1, ascending=False)
 
# 根据某一列的数值进行排序
df.sort_value(by=，ascending=) by表示按哪一个columns参数排序
？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？

********************************************************
7.
查询数据的前5行或末尾5行

    student.head()
    student.tail()

查询指定的行

    student.ix[[0,2,4,5,7]] #这里的ix索引标签函数必须是中括号[]

查询指定的列

    student[['Name','Height','Weight']].head() #如果多个列的话，必须使用双重中括号

也可以通过ix索引标签查询指定的列

    student.ix[:,['Name','Height','Weight']].head()

查询指定的行和列

    student.ix[[0,2,4,5,7],['Name','Height','Weight']].head()

以上是从行或列的角度查询数据的子集，现在我们来看看如何通过布尔索引实现数据的子集查询。
查询所有女生的信息

    student[student['Sex']=='F']

查询出所有12岁以上的女生信息

    student[(student['Sex']=='F') & (student['Age']>12)]

查询出所有12岁以上的女生姓名、身高和体重

    student[(student['Sex']=='F') & (student['Age']>12)][['Name','Height','Weight']]

上面的查询逻辑其实非常的简单，需要注意的是，如果是多个条件的查询，必须在&（且）或者|（或）的两端条件用括号括起来。


********************************************************
6.统计
# 求平均值   df.mean()

# 指定轴上的平均值    df.mean(1)

# 不同维度的 pandas 对象也可以做运算，它会自动进行对应，shift 用来做对齐操作。s = pd.Series([1,3,5,np.nan,6,8], index=dates).shift(2)
改操作是把数字向下移动了两个位置

# 对不同维度的 pandas 对象进行减法操作    df.sub(s, axis='index')
df减s

*******************************************************
7.函数
d1 = pd.Series(2*np.random.normal(size = 100)+3)
d2 = np.random.f(2,4,size = 100)
d3 = np.random.randint(1,100,size = 100)

random.normal()
random.f
random.randint

d1.count() #非空元素计算
d1.min() #最小值
d1.max() #最大值
d1.idxmin() #最小值的位置，类似于R中的which.min函数
d1.idxmax() #最大值的位置，类似于R中的which.max函数
d1.quantile(0.1) #10%分位数
d1.sum() #求和
d1.mean() #均值
d1.median() #中位数
d1.mode() #众数
d1.var() #方差
d1.std() #标准差
d1.mad() #平均绝对偏差
d1.skew() #偏度
d1.kurt() #峰度
d1.describe() #一次性输出多个描述性统计指标


**********************************************************

这里自定义一个函数，将这些统计描述指标全部汇总到一起:

    def stats(x):
    return pd.Series([x.count(),x.min(),x.idxmin(),
    x.quantile(.25),x.median(),
    x.quantile(.75),x.mean(),
    x.max(),x.idxmax(),
    x.mad(),x.var(),
    x.std(),x.skew(),x.kurt()],
    index = ['Count','Min','Whicn_Min',
    'Q1','Median','Q3','Mean',
    'Max','Which_Max','Mad',
    'Var','Std','Skew','Kurt'])
    stats(d1)

在实际的工作中，我们可能需要处理的是一系列的数值型数据框，如何将这个函数应用到数据框中的每一列呢？可以使用apply函数，这个非常类似于R中的apply的应用方法。
将之前创建的d1,d2,d3数据构建数据框:

    df = pd.DataFrame(np.array([d1,d2,d3]).T,columns=['x1','x2','x3'])
    df.head()
    df.apply(stats)
**************结果********************
>>> df.apply(stats)
                   x1          x2          x3
Count      100.000000  100.000000  100.000000
Min         -4.127033    0.010727    3.000000
Whicn_Min   81.000000    0.000000   76.000000
Q1           2.040101    0.270086   25.000000
Median       3.204555    0.867420   54.500000
Q3           4.434788    2.932584   73.000000
Mean         3.070225    2.027167   51.490000
Max          7.781921   19.139449   98.000000
Which_Max   39.000000   88.000000   96.000000
Mad          1.511288    2.007630   24.010800
Var          4.005609    9.366646  780.090808
Std          2.001402    3.060498   27.930106
Skew        -0.649478    3.042986   -0.118917
Kurt         1.220109   11.611402   -1.211579
>>>
*****************************************************
7.相关系数（corr）和协方差矩阵（cov）
除以上的简单描述性统计之外，还提供了连续变量的相关系数（corr）和协方差矩阵（cov）的求解，这个跟R语言是一致的用法。

    df.corr()

关于相关系数的计算可以调用pearson方法或kendell方法或spearman方法，默认使用pearson方法。

    df.corr('spearman')

如果只想关注某一个变量与其余变量的相关系数的话，可以使用corrwith,如下方只关心x1与其余变量的相关系数:

    df.corrwith(df['x1'])

数值型变量间的协方差矩阵

    df.cov()

********************************************************
7.自动化对齐
由于s5中没有对应的g索引，s6中没有对应的e索引，所以数据的运算会产生两个缺失值NaN。注意，这里的算术结果就实现了两个序列索引的自动对齐，而非简单的将两个序列加总或相除。对于数据框的对齐，不仅仅是行索引的自动对齐，同时也会自动对齐列索引（变量名）

数据框中同样有索引，而且数据框是二维数组的推广，所以其不仅有行索引，而且还存在列索引

也就是说，只有行所以和列索引都对齐的才能运算，其他的都变为NAN

********************************************************
7.函数应用

# 累加
df.apply(np.cumsum)

*********************************************************
8.直方图

s = pd.Series(np.random.randint(0, 7, size=10))
s.value_counts()
"""
4 5
6 2
2 2
1 1
dtype: int64
String Methods
"""
***********************************************************
9.字符处理
s = pd.Series(['A', 'B', 'C', 'Aaba', 'Baca', np.nan, 'CABA', 'dog', 'cat'])
s.str.lower()
"""
0 a
1 b
2 c
3 aaba
4 baca
5 NaN
6 caba
7 dog
8 cat
dtype: object
"""

*********************************************************
10.sql数据库的增删改查
增数据：用concat
增列：pd.DataFrame(student2,columns=['a','b','c','d']),直接在columns中写上新增的列名就行
删除表：del students2
删除指定的行：student.drop([1,3,4])
保留14岁以上的学生：student[student['Age']>14]
删除指定的列：student.drop(['Height','Weight'],axis=1).head()    
不论是删除行还是删除列，都可以通过drop方法实现，只需要设定好删除的轴即可，即调整drop方法中的axis参数。默认该参数为0，表示删除行观测，如果需要删除列变量，则需设置为1。
修改数据：student.ix[student['name']=='liuchang','height']=170
**********************************************************
10.聚合函数
根据性别分组，计算各组别中学生身高和体重的平均值：
student.groupby('sex').mean()
如果不对原始数据作限制的话，聚合函数会自动选择数值型数据进行聚合计算。如果不想对年龄计算平均值的话，就需要剔除改变量：
student.drop('age',axis=1).groupby('sex').mean()
groupby还可以使用多个分组变量，例如根本年龄和性别分组，计算身高与体重的平均值：
student.groupby('sex','age').mean()
还可以对每个分组计算多个统计量：
student.drop('age',axis=1).groupby('sex').agg([np.mean,np.median])
**********************************************************
10.合并

使用 concat() 连接 pandas 对象:相同列之间直接合并

join 合并：不同列之间的笛卡尔积

merge：两边做关联，相当于join：
stu_score=pd.merge(student,score,on='name')
注意，默认情况下，merge函数实现的是两个表之间的内连接，即返回两张表中共同部分的数据。可以通过how参数设置连接的方式，left为左连接；right为右连接；outer为外连接。
内连接，外连接，左右连接？？？？？？？？？？？？？？？？？？？？？
**********************************************************
11.删除nan：df.dropna(how='all')或者'any'
   填充nan：df.fillna(0)
   用前一个观测值填充：df.fillna(method='ffill')
   用后一个观测值填充：df.fillna(method='bfill')
   使用常量填充不同的列：df.fillna('x1':1,'x2':2,'x3':3)
   用均值或者中位数填充各自的列：先算出各个列的均值或者中位数，再用上面的方法填充
**********************************************************
11.追加
在 dataframe 数据后追加行
df = pd.DataFrame(np.random.randn(8, 4), columns=['A','B','C','D'])
s = df.iloc[3]
df.append(s, ignore_index=True)

*************************************************************
12.分组

# 对单个分组应用函数，数据被分成了 bar 组与 foo 组，分别计算总和。
df.groupby('A').sum()
 
# 依据多个列分组会构成一个分级索引
df.groupby(['A','B']).sum()

*************************************************************
13.数据透视表

pd.pivot_table(df, values='D', index=['A', 'B'], columns=['C'])

C             bar       foo
A     B                    
one   A -0.435493 -2.469078
      B -1.134437  1.232294
      C  0.397694 -0.146637
three A -1.073181       NaN
      B       NaN  2.225841
      C  0.440227       NaN
two   A       NaN  0.023365
      B -0.048074       NaN
      C       NaN -1.031985
*************************************************************
数据透视表详解：

    pivot_table(data,values=None,
    index=None,
    columns=None,
    aggfunc='mean',
    fill_value=None,
    margins=False,
    dropna=True,
    margins_name='All')

    data：需要进行数据透视表操作的数据框
    values：指定需要聚合的字段
    index：指定某些原始变量作为行索引
    columns：指定哪些离散的分组变量
    aggfunc：指定相应的聚合函数
    fill_value：使用一个常数替代缺失值，默认不替换
    margins：是否进行行或列的汇总，默认不汇总
    dropna：默认所有观测为缺失的列
    margins_name：默认行汇总或列汇总的名称为'All'

eg:
pd.pivot_table(student,values=['height','weight'],columns=['sex'],aggfunc=[np.mean,np.median,np.std])
pd.pivot_table(student,values=['height','weight'],columns=['sex']).unstack()
**************************************************************
14.时间序列
rng = pd.date_range('1/1/2012', periods=100, freq='S')
ts = pd.Series(np.random.randint(0, 500, len(rng)), index=rng)
ts.resample('5Min', how='sum')

ts_utc = ts.tz_localize('UTC')

# 转换为周期
ps = ts.to_period()
 
# 转换为时间戳
ps.to_timestamp()

************************************************************
15.多层索引：
data['a']      返回最外层索引为a的数据
data['a','b']  返回最外层索引为a和b 的数据
data[:,1]      返回最内层所有为1的所有数据

************************************************************
15.分类
df["grade"] = df["raw_grade"].astype("category")
df["grade"]
# 重命名分类
df["grade"] = df["grade"].cat.set_categories(["very bad", "bad", "medium", "good", "very good"])
 
# 根据分类的顺序对数据进行排序

df.sort("grade")

上面这两个函数报错？？？？？？？？？？？
***************************************
series.order()升序
series.order(ascending=False)降序
student.sort_values(by=[sex'','age'])
？？？？？？？？？？？？？？？？？？？？？？？？？
******************************************************************
16.作图
ts = pd.Series(np.random.randn(1000), index=pd.date_range('1/1/2000', periods=1000))
ts = ts.cumsum()
ts.plot()
************************************************************
17.数据IO
# 从 csv 文件读取数据
pd.read_csv('foo.csv')
 
# 保存到 csv 文件
df.to_csv('foo.csv')
 
# 读取 excel 文件
pd.read_excel('foo.xlsx', 'Sheet1', index_col=None, na_values=['NA'])
 
# 保存到 excel 文件
df.to_excel('foo.xlsx', sheet_name='Sheet1')