import pandas as pd
"""
pandas doc:
df.dtypes 查看数据每column 数据类型
id int64
x0 float64
df.reindex 查看多少行多少列的数据结构 [569 rows x 21 columns]>
df.reindex_axis 查看数据行列带数据
df.info() 查看数据每列non-null 情况
df.head(1).values 索引查看前一行数据.默认取前五行
[[ 1.33000e+02 4.49512e-01 nan 4.13178e-01 3.03781e-01
-1.23848e-01 -1.84227e-01 -2.19076e-01 2.68537e-01 1.59960e-02
-7.89267e-01 -3.37360e-01 -7.28193e-01 -4.42587e-01 -2.72757e-01
-6.08018e-01 -5.77235e-01 -5.01126e-01 1.43371e-01 -4.66431e-01
-5.54102e-01]]
......
......
df.tail(1) 查看最后一行数据
df[n:n+k].values取出二维数组查看第n到n+k行数据
df转numpy
df.to_numpy()[:2]取前2行：
[[ 1.330000e+02 4.495120e-01 nan 4.131780e-01 3.037810e-01
-1.238480e-01 -1.842270e-01 -2.190760e-01 2.685370e-01 1.599600e-02
-7.892670e-01 -3.373600e-01 -7.281930e-01 -4.425870e-01 -2.727570e-01
-6.080180e-01 -5.772350e-01 -5.011260e-01 1.433710e-01 -4.664310e-01
-5.541020e-01]
[ 2.730000e+02 -1.245485e+00 -8.423170e-01 -1.255026e+00 nan
-4.263010e-01 -1.088781e+00 -9.763920e-01 -8.988980e-01 9.834960e-01
4.570200e-02 -4.936390e-01 3.486200e-01 -5.524830e-01 -5.268770e-01
2.253098e+00 -8.276200e-01 -7.807390e-01 -3.769970e-01 -3.102390e-01
1.763010e-01]]
......
......
......
df.describe() :数据分析获取每列的数量，均值，标准差,min,max,25位，50位，75位
id x0 ... x18 x19
count 569.000000 5.690000e+02 ... 5.690000e+02 5.690000e+02
mean 284.000000 2.811951e-08 ... -5.272408e-09 1.230228e-08
std 164.400426 1.000880e+00 ... 1.000880e+00 1.000880e+00
min 0.000000 -2.029648e+00 ... -1.532890e+00 -1.096968e+00
25% 142.000000 -6.893850e-01 ... -6.516810e-01 -5.851180e-01
50% 284.000000 -2.150820e-01 ... -2.194300e-01 -2.299400e-01
75% 426.000000 4.693930e-01 ... 3.556920e-01 2.886420e-01
max 568.000000 3.971288e+00 ... 7.071917e+00 9.851593e+00
数据转置：行转列 df.T
df.sort_values(by, axis=0, ascending=True, inplace=False, kind='quicksort', na_position='last')据排序：axis 0行，1 column
默认axis=0 根据列排序也就是索引，如果指定by则按照对应列排序，axis=1时，by根据行填写行名
ascending:布尔型，True则升序，可以是[True,False]，即第一字段升序，第二个降序
......
......
数据选取：
df['x0'].values 选取某一列数据
df[:n]前两行数据
或者使用df.loc[0]取索引0行数据
df.loc[0:1]取索引0到1行数据
df.loc[:,"x0":"x3"]:,单独取某列所有行用df.loc[:,"x3"]
取所有行的x0到x3之间的列
只取某几列比如x0,x7 ： df.loc[:,["x0","x7"]]
df.iloc[0]取索引一行
df.iloc[0:4] 前三行左闭右开
取列df.iloc: print(df.iloc[:,0:4]) 前三列不支持“列名”
id x0 x1 x2
0 133 0.449512 NaN 0.413178
1 273 -1.245485 -0.842317 -1.255026
2 175 -1.549664 -1.126219 -1.546652
取第一行第二列：
print(df.iloc[1,2]) or print(df.at[0,"x2"])
......
......
缺失值填充：
print(df.fillna(value=5)) NaN
0 133 0.449512 5.000000 0.413178 ... -0.501126 0.143371 -0.466431 -0.554102
1 273 -1.245485 -0.842317 -1.255026 ... -0.780739 -0.376997 -0.310239 0.176301
......
......
均值查看：
print(df.mean()) mean(0)行 1 列
求和列：
df.loc["rows_sum"]=df.apply(lambda x:x.sum())
print(df)
567 2.0 1.579888 0.456187 ... 1.424827 0.237036 0.293559
568 39.0 -0.183840 0.356123 ... 0.133639 -0.819980 -0.229940
rows_sum 161596.0 0.000016 1.247216 ... -0.000005 -0.000003 0.000007
求和行:
df["rows_sum"]=df.apply(lambda x:x.sum(),axis=1)
print(df)
id x0 x1 ... x18 x19 rows_sum
0 133 0.449512 NaN ... -0.466431 -0.554102 128.790148
1 273 -1.245485 -0.842317 ... -0.310239 0.176301 266.205423
2 175 -1.549664 -1.126219 ... 0.795207 -0.149751 160.581688
......
......
"""
df=pd.read_csv('./datasets/breast_a.csv')
df["rows_sum"]=df.apply(lambda x:x.sum(),axis=1)
print(df)
数据列名称修改：
df=pd.read_csv('./datasets/breast_a.csv',index_col=False)
new_df=pd.DataFrame(df)
df1=new_df.rename(columns={"x0":"fid0","x1":"fid1"})
df1.to_csv(path_or_buf='./datasets/breast_a.csv',index=False,encoding="utf-8")
id fid0 fid1 x2 ... x16 x17 x18 x19
0 133 0.449512 NaN 0.413178 ... -0.501126 0.143371 -0.466431 -0.554102
1 273 -1.245485 -0.842317 -1.255026 ... -0.780739 -0.376997 -0.310239 0.176301
2 175 -1.549664 -1.126219 -1.546652 ... -1.057501 -1.913447 0.795207 -0.149751
数据替换某一列
# print(pd.read_csv('./datasets/breast_a.csv',index_col=False))
new_df["x3"].replace(0.303781,9999,inplace=True)
print(new_df.x3)
替换所有：
df.replace(to_replace, value) 前面是需要替换的值，后面是替换后的值。