数据分析 Pandas 简介和它的的数据结构

本文主要讲Pandas 的Series和DataFrame 的相关属性和操作

1、Series的相关属性和操作
#        --Series是一种类似于一维数组的对象，只能存放一维数组！由以下两部分组成：
#              value:一组数据 ndarray类型
#              index:相关数据的索引标签
#
#        --Series 的创建：
#               (1)由列表或numpy数组创建：默认索引为0到n-1的整数索引，
#               (2)还可以通过index的参数指定索引

1.2、Series的索引和切片操作如下：    

import pandas as pd
from pandas import Series,DataFrame
# 创建一个Series,index=['a','b','c']为显示索引：增强可读性
s = Series(data=[1,2,3],index=['a','b','c'])
#索引的使用：下面三种方式都可以
print(s.a)
print(s[0])
print(s['a'])
#----Series 的切片
print(s[0:1])    # --- 这种索引切片是不包含1的值的
print(s['a':'b'])
print(s[[0,1]])
print(s[['a','b']])

1.3、Series 的相关函数及其特性 
          s.head(n)      查看前面n个值
          s.tail(n)         分别查看后面n个值

      s.unique()   ---对Series a元素进行去重----

s = Series([1,1,3,5,7,7,9,45,65])
ns = s.unique()     # ns 为  [1,3,5,7,9,45,65]
print(ns)

          Series加法运算: 两个Series 数组必须索引相同才能相加成功,不然就会出现缺失数据 NaN 的情况

s1 = Series(data=[1,2,3],index=['a','b','c'])
s2 = Series(data=[1,2,3],index=['a','d','c'])
s = s1 + s2
print(s)              # s的结果： a 2.0
                                # b NaN
                                # c 6.0
                                # d NaN

        Series的索引可以为True/False:
             print(s[[True,False,True,False]])  # ---  发现：如果索引为 False 时，值不显示

             s.isnull()     # --- 判断s中每个元素是否为NaN ,等于NaN返回True
             s.notnull()    # --- 判断s中每个元素是否不为NaN ,不等于NaN返回True

       #---批量过滤NaN值----------
       print(s[s.notnull()])        # s.notnull()返回的 True/False 数组,作为 s[]的索引 

----------------------------------------------------------------------------------------------------------

2、DataFrame 的相关属性和操作
         ---定义：DataFrame 是一个表格，二维的数据结构
         ---DataFrame == mydql的table
         ---设计初衷：将Series 的一维数据结构扩展到多维

         ---DataFrame 既有行索引，还有列索引
                   行索引：index          DataFrame会自动在每一行加上索引
                   列索引：columns        使用字典创建DataFrame后,columns参数将不可被使用
                   值：values             同Series 一样 传入的列与字典的键不匹配，则相应的值为NaN

       ---创建 DataFrame

import numpy as np
df = DataFrame(data = np.random.randint(0,100,size=(3,4)),index=['a','b','c'],columns=['A','B','C','D'])
print(df)
#        A   B   C   D
#    a  45  63  88  52
#    b  74   4  56  35
#    c  58  22  14  25

　2.2、DataFrame 的属性 ：index    columns    values    shape

        print('返回所有的值(3行4列)',df.values)
        print('返回列索引',df.columns)
        print('返回行索引',df.index)

      使用 ndarray 创建 DataFrame：创建一个表格用于展现张三李四的java/python 成绩：

data ={
    '张三':[120,120,120],
    '李四':[22,34,34]
}
df = DataFrame(data= data,index=['语文','英语','数学'])  
print(df)

  ---        张三 李四
  ---语文 120   22
  ---英语 120   34
  ---数学 120   34

2.3、使用DataFrame 的索引操作
         (1)、对列进行索引>>>>默认列索引

print(df['张三'])
#语文 120
#英语 120
#数学 120
#Name: 张三, dtype: int64

print(df[['李四','张三']])   # --- 取两列,index取多列要加“[]”
#李四 张三
#语文 22 120
#英语 34 120
#数学 34 120　　

        (2)、对行进行索引
               使用df.loc[]加index进行索引  --隐式索引
               使用df.iloc[]加整数进行索引  --显式索引

print('使用df.loc[]加index进行索引',df.loc['语文'])
#使用df.loc[]加index进行索引
#张三 120
#李四 22
Name: 语文, dtype: int64

print('使用df.loc[]取多行',df.loc[['语文','英语']])  # --- 取两行,index取多行要加“[]”
#使用df.loc[]取多行 
#张三 李四
#语文 120 22
#英语 120 34

print('使用df.iloc[]加整数进行索引',df.iloc[0])
#使用df.iloc[]加整数进行索引 
#张三   120
#李四   22
Name: 语文, dtype: int64

print('使用df.iloc[]取多行',df.iloc[[0,1]])  # --- 取两行,index取多行要加“[]”
#使用df.iloc[]取多行 
#    张三    李四
#语文 120    22
#英语 120    34　

        (3)、对元素进行索引
                默认df['张三']第一个索引为列索引，第二个为行索引
                loc[] 第一个为行索引，第二个为列索引

print('对元素进行索引',df['张三']['语文'])  
#对元素进行索引 120

print('使用df.loc[]对元素索引',df.loc['英语']['张三'])
#使用df.loc[]对元素索引 120

print('同上写法',df.loc['英语','张三'])  
#同上写法 120

　　    (4)、取多个元素

              “,”左边为行，右边为列

print('使用df.loc[]取多个元素',df.loc[['英语','语文'],'张三']) 
#使用df.loc[]取多个元素

#英语 120 
#语文 120
#Name: 张三, dtype: int64

   2.4、DataFrame 的切片操作            

• 行切片： df[0:2]切片默认取得是行

print(df[0:2]) 
#    张三  李四
#语文 120  22
#英语 120  34

print(df[2])  ---取第二列

• 切片 iloc ： “,”左边为行，右边为列

          不加 “,” 默认取得是行

print(df.iloc[0]) --取第一行
print(df.iloc[-1])--取最后一行
print(df.iloc[0:2]) --取的是第一第二行
print(df.iloc[:,0:1])  --取第一列
print(df.iloc[2,3])   --取第二行第三列的数据
print(df.iloc[2,1:3])   --取索引未2的行第索引1到3的列
#       张三
# 语文   120
# 英语   120
# 数学   120

 2.5、DataFrame 的运算操作 

             DataFrame 的运算和Series 一样：

                          在运算中自动对齐索引相同的数据

                          如果索引不对应就补NaN

重要：
      使用python操作符：以行为单位操作（参数必须是行），对所有行都有效。

使用pandas操作函数：

•  axis = 0 以列为单位操作（参数必须是列），对所有列都有效
•  axis = 1 以行为单位操作（参数必须是行），对所有行都有效
•  注意：fill_value在df和series之间运算时，不能使用

练习：

1、假设ddd是期中考试成绩，ddd2是期末考试成绩，请自由创建ddd2，并将其与ddd相加，求期中期末平均值。

2、假设张三期中考试数学被发现作弊，要记为0分，如何实现？

3、李四因为举报张三作弊立功，期中考试所有科目加100分，如何实现？

4、后来老师发现有一道题出错了，为了安抚学生情绪，给每位学生每个科目都加10分，如何实现？

df1 = DataFrame(data=np.random.randint(0,100,size=(5,3)), index=list("ABCDE"), columns=["python","java","php"])
df2 = DataFrame(data=np.random.randint(0,100,size=(5,3)), index=list("ABCDE"), columns=["python","java","php"])
display(df1, df2)
 
1.(df1 + df2)/2
2.df1.loc["B","java"] = 0
3.df1.loc["C"] += 100
4.df1 += 10