Python——pandas的使用

Pandas的常用数据类型

• Series一维，带标签的数组
• DataFrame二维，Series容器

一、Series

Series对象本质上是有两个数组组成，一个数组构成对象的键（index），一个数组构成对象的值（values）

import string

import pandas as pd
import numpy as np


# 创建Series
t1 = pd.Series(np.arange(5),index=list("abcde"))

print(t1)
"""
索引可以指定，默认为012...

a    0
b    1
c    2
d    3
e    4
dtype: int64
"""
print(type(t1)) # <class 'pandas.core.series.Series'>


# 使用字典创建Series

a = {string.ascii_uppercase[i]:i for i in range(5)}

# 创建Series
print(pd.Series(a))
"""
A    0
B    1
C    2
D    3
E    4
dtype: int64
"""

print(pd.Series(a,index=list("CDEFG")))
"""
C    2.0
D    3.0
E    4.0
F    NaN
G    NaN
dtype: float64
"""


# 切片

print(t1[0:4:2])
"""
a    0
c    2
dtype: int64
"""

print(t1[[2,3,4]])
"""
c    2
d    3
e    4
dtype: int64
"""

print(t1[t1>2])
"""
d    3
e    4
dtype: int64
"""

print(t1["b"])  # 1


print(t1[["a","e","f"]])
"""
a    0.0
e    4.0
f    NaN
dtype: float64
"""

# 索引和值

print(t1.index)     # Index(['a', 'b', 'c', 'd', 'e'], dtype='object')
print(type(t1.index))   # <class 'pandas.core.indexes.base.Index'>

print(t1.values)    # [0 1 2 3 4]
print(type(t1.values))  # <class 'numpy.ndarray'>

二、DataFrame

创建DataFrame

# 创建DataFrame对象

t1 = pd.DataFrame(np.arange(12).reshape(3,4))

print(t1)
"""
DataFrame对象既有行索引，又有列索引
行索引，表明不同行，横向索引，叫index，0轴，axis=0
列索引，表名不同列，纵向索引，叫columns，1轴，axis=1

   0  1   2   3
0  0  1   2   3
1  4  5   6   7
2  8  9  10  11
"""

t2 = pd.DataFrame(np.arange(12).reshape(3,4),index=list("abc"),columns=list("EFGH"))

print(t2)
"""
   E  F   G   H
a  0  1   2   3
b  4  5   6   7
c  8  9  10  11
"""

# 将字典转换成dataframe
temp_dict = [{"name":"zhangsan","age":15,"tel":10086},
             {"name":"lisi","age":15},
             {"name":"wangwu","tel":10086}
             ]

t3 = pd.DataFrame(temp_dict)
print(t3)
"""
    age      name      tel
0  15.0  zhangsan  10086.0
1  15.0      lisi      NaN
2   NaN    wangwu  10086.0
"""

获取DataFrame的基本信息

# 获取DataFrame的基本信息

# 行数，列数
print(t1.shape)

# 列数据类型
print(t1.dtypes)

# 数据维度
print(t1.ndim)  # 2
# 行索引
print(t1.index) # RangeIndex(start=0, stop=3, step=1)
# 列索引
print(t2.columns)   # Index(['E', 'F', 'G', 'H'], dtype='object')
# 对象值
print(t1.values)
"""
[[ 0  1  2  3]
 [ 4  5  6  7]
 [ 8  9 10 11]]
"""
# 显示头几行，默认是5
print(t1.head(2))
# 显示末尾几行
print(t1.tail(2))
# 相关信息概览：行数，列数，列索引，咧非空值个数，行列类型，内存占用
print(t1.info())
"""
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 3 entries, 0 to 2
Data columns (total 4 columns):
0    3 non-null int64
1    3 non-null int64
2    3 non-null int64
3    3 non-null int64
dtypes: int64(4)
memory usage: 176.0 bytes
None
"""
# 快速综合统计结果：计数，均值，标准差，最大值，1/4值，最小值
print(t2.describe())
"""
是根据列来计算的
         E    F     G     H
count  3.0  3.0   3.0   3.0
mean   4.0  5.0   6.0   7.0
std    4.0  4.0   4.0   4.0
min    0.0  1.0   2.0   3.0
25%    2.0  3.0   4.0   5.0
50%    4.0  5.0   6.0   7.0
75%    6.0  7.0   8.0   9.0
max    8.0  9.0  10.0  11.0
"""

加载csv数据

import numpy as np
import pandas as pd

# 加载csv数据
t = pd.read_csv("./dogNames2.csv")

# 按照字段进行排序，ascending   desc/asc
t2 = t.sort_values("Count_AnimalName",ascending=False).head(10)

print(t2)

获取行列数据

import string

import numpy as np
import pandas as pd


# loc和iloc方法
    # df.loc：通过标签获取行数据
    # df.iloc：通过位置获取行数据

t1 = pd.DataFrame(np.arange(12).reshape(3,4),index=list("abc"),columns=list("EFGH"))

# 获取行列交叉部分
print(t1.loc["a","E"])  # 0

# 获取行与多列交叉部分
print(t1.loc["a",["E","F"]])
"""
E    0
F    1
"""

# 获取行与多列交叉部分
print(t1.loc["a","E":"G"])
"""
E    0
F    1
G    2
"""

# 获取行与连续多列交叉部分
print(t1.loc["a":"c","G"])
"""
注意：loc里的:是包括最后的那个的
a     2
b     6
c    10
"""

# iloc和loc是一样的，只不过采用的是索引来进行的操作

布尔索引

import numpy as np
import pandas as pd


# pandas中的布尔索引
t1 = pd.read_csv("./dogNames2.csv")

# 找出其中名字使用次数超过800的狗

print(t1[t1["Count_AnimalName"]>800])
"""
      Row_Labels  Count_AnimalName
1156       BELLA              1195
2660     CHARLIE               856
3251        COCO               852
9140         MAX              1153
12368      ROCKY               823
"""

# 找出狗名字符串长度超过4的狗

print(t1[t1["Row_Labels"].str.len()>4].head(3))
"""
  Row_Labels  Count_AnimalName
2      40804                 1
3      90201                 1
4      90203                 1
"""

# 多条件，要使用()分割，&或|做连接符
print(t1[(t1["Row_Labels"].str.len()>4)&(t1["Row_Labels"].str.len()<6)].head(3))

字符串方法

处理缺失数据

import pandas as pd
import numpy as np


temp_dict = [{"name":"zhangsan","age":0,"tel":10086},
             {"name":"lisi","age":15},
             {"name":"wangwu","tel":10010}]

t1 = pd.DataFrame(temp_dict)
print(t1)
"""
    age      name      tel
0  15.0  zhangsan  10086.0
1  15.0      lisi      NaN
2   NaN    wangwu  10010.0
"""

## 缺失数据的处理

#   - 处理方式1：删除NaN所在的行列dropna (axis=0, how='any', inplace=False)
t2 = t1.dropna(axis=0, how='any', inplace=False)
print(t2)
"""
    age      name      tel
0  15.0  zhangsan  10086.0
"""
#   - 处理方式2：填充数据，t.fillna(t.mean()),t.fiallna(t.median()),t.fillna(0)
t3 = t1.fillna(t1.mean())
print(t3)
"""
    age      name      tel
0  15.0  zhangsan  10086.0
1  15.0      lisi  10048.0
2  15.0    wangwu  10010.0
"""

### 处理为0的数据：将0改为nan，然后使用上面的方法进行填充
t1[t1==0] = np.nan

print(t1)


### 查看是否为nan，返回布尔索引

print(pd.isnull(t1))
"""
     age   name    tel
0   True  False  False
1  False  False   True
2   True  False  False
"""
print(pd.notnull(t1))
"""
     age  name    tel
0  False  True   True
1   True  True  False
2  False  True   True
"""