pandas之数据IO笔记

pandas在进行数据存储与输出时会做一些相应的操作

1.*索引：将一个列或多个列读取出来构成DataFrame，其中涉及是否从文件中读取索引以及列名

2 *类型推断和数据转换：包括用户自定义的转换以及缺失值标记

3 *日期解析

4*迭代：针对大文件进行逐块迭代。这个是Pandas和Python原生的csv库的最大区别

5 *不规整数据问题：跳过一些行，或注释等等

 

import pandas as pd
import numpy as np

pd.read_csv('ch04/ex1.csv')   # 它输出的是DataFrame
pd.read_table('ch04/ex1.csv',sep=',')  # 它的效果和上一行一样

pd.read_csv('ch04/ex2.csv',header=None,names=['a','b','c','d','msg'])
#  它为读取的文件添加列索引

pd.read_csv('ch04/ex2.csv',header=None,
                   names=['a','b','c','d','msg'],index_col=['msg','b'])
#  为文件添加列索引后，又将'msg','b'两列变为行索引

pd.read_table('ch04/ex3.csv',sep='s+')
#  文件中的分隔符用到正则表达式sep='s+'

pd.read_csv('ch04/ex5.csv',
                    na_values={'message':['NA','NULL','foo'],'something':['two']})
#  读出的文件没有值的默认为NaN值，
#  na_values通过字典形式表示message与something中需要变为NaN值的一些位置

pd.read_csv('ch04/ex6.csv',nrows=10)
#  表示只读取10行

#  如果要取出每个索引出现的次数，可以利用chunksize
tr = pd.read_csv('ch04/ex6.csv',chunksize=1000)
#  先取出1000行
#  它返回<pandas.io.parsers.TextFileReader at 0x1b116b02780>支持迭代
result = pd.Series([])
for chunk in tr:
    result = result.add(chunk['key'].value_counts(),fill_value=0)
#  add方法会为索引对应的数据不存在添加默认值，可以采用fill_value=0填充默认值

result = result.sort_values(ascending=False)
result[:10]  # 取出前十大的数

往磁盘读入数据

import pandas as pd
import numpy as np

df = pd.read_csv('ch04/ex5.csv')
df.to_csv('ch04/ex5_out.csv',index=False)  
# 如果没有index=False，读取的文件与源文件有差异，给源文件加了索引
# index=False指定不写索引值

df.to_csv('ch04/ex5_out.csv',index=False,
              header=None,columns=['b','c','message'],sep='|')
# header=None，不写列标签，只写'b','c','message'三列，每个数字或字符串用'|'分隔开