python I/O编程

1.文件读写

使用open打开文件，f=open('/user/test.txt','r'),r表示可读

如果文件不存在，则抛出IOError

文件打开，则用read()方法进行读取

最后关闭用close(）方法

python中引入with语句，和try...finally效果一样，但是不用调用close方法

>>> with open('/path/file','f') as f:
    print(f.read)

read会一次性读取全部内容，如果文件有10G，内存就爆了，所以，要保险起见，可以反复调用read(size)方法，每次最多读取size个字节的内容。另外，调用readline()可以每次读取一行内容，调用readlines()一次读取所有内容并按行返回list。因此，要根据需要决定怎么调用。如果文件很小，read()一次性读取最方便；如果不能确定文件大小，反复调用read(size)比较保险；如果是配置文件，调用readlines()最方便：

>>> for line in f.readlines():
    print(line.strip())

file—like Object

定义：open函数中返回的read方法的对象

二进制文件：如图片、视频，用‘rb’模式打开

>>> f = open('/Users/michael/test.jpg', 'rb')
>>> f.read()
b'xffxd8xffxe1x00x18Exifx00x00...' # 十六进制表示的字节

字符编码，需要传入encoding

>>> f = open('/Users/michael/gbk.txt', 'r', encoding='gbk')
>>> f.read()
'测试'

遇到有些编码不规范的文件，你可能会遇到UnicodeDecodeError，因为在文本文件中可能夹杂了一些非法编码的字符。遇到这种情况，open()函数还接收一个errors参数，表示如果遇到编码错误后如何处理。最简单的方式是直接忽略：

>>> f = open('/Users/michael/gbk.txt', 'r', encoding='gbk', errors='ignore')

写文件：

>>> f = open('/Users/michael/test.txt', 'w')
>>> f.write('Hello, world!')
>>> f.close()

with open('/Users/michael/test.txt', 'w') as f:
    f.write('Hello, world!')

以'w'模式写入文件时，如果文件已存在，会直接覆盖（相当于删掉后新写入一个文件）。如果我们希望追加到文件末尾怎么办？可以传入'a'以追加（append）模式写入。

 2.SrtingIO和BytesIO

1）StringIO

在内存中读写str

先写入

>>> from io import StringIO
>>> f = StringIO()
>>> f.write('hello')
5
>>> f.write(' ')
1
>>> f.write('world!')
6
>>> print(f.getvalue())
hello world!

后读取

>>> from io import StringIO
>>> f = StringIO('Hello!
Hi!
Goodbye!')
>>> while True:
...     s = f.readline()
...     if s == '':
...         break
...     print(s.strip())
...
Hello!
Hi!
Goodbye!

2）BytesIO

二进制数据的写入与读取

>>> from io import BytesIO
>>> f = BytesIO()
>>> f.write('中文'.encode('utf-8'))
6
>>> print(f.getvalue())
b'xe4xb8xadxe6x96x87'

>>> from io import BytesIO
>>> f = BytesIO(b'xe4xb8xadxe6x96x87')
>>> f.read()
b'xe4xb8xadxe6x96x87'

 3.操作文件和目录

python内置的os模块提供调用接口的内置函数

>>> import os
>>> os.name
'nt'

如果是‘nt’类型，则说明是windows系统，如果是posix说明是linux、unix、或者Mac os X

获取详细地址调用uname（），但是uname在windows上面不提供

环境变量：

操作系统的环境变量全部保存在os.environ中，要获取某个变量的值，可以调用os.environ.get'key'

操作文件和目录

操作文件和目录一部分放在os模块中，一部分放在os.path中，查看、创建、删除如下：

>>> #查看当前目录的绝对路径
>>> os.path.abspath('.')
'C:\Users\ZM\AppData\Local\Programs\Python\Python37'
>>> #在某个目录下创建一个新目录，首先把新目录的完整路径表示出来
>>> os.path.join('C:\Users\ZM\AppData\Local\Programs\Python\Python37','testdir')
'C:\Users\ZM\AppData\Local\Programs\Python\Python37\testdir'
>>> #然后创建一个目录
>>> os.mkdir('C:\Users\ZM\AppData\Local\Programs\Python\Python37\testdir')
>>> #删掉一个目录
>>> os.rmdir('C:\Users\ZM\AppData\Local\Programs\Python\Python37\testdir')

把两个路径合并成一个路径时，不要直接拼接字符串，要使用os.path.join()函数，在linux、unix、或者Mac os X下，os.path.join(),返回这样的字符串：part-1/part-2，而在windows下返回part-1part-2

拆分路径时使用os.path.split()函数

os.path.splitext()可以直接得到文件扩展名

文件过滤

>>> [x for x in os.listdir('.') if os.path.isdir(x)]
['DLLs', 'Doc', 'include', 'Lib', 'libs', 'Scripts', 'tcl', 'Tools']
>>> #列出.py文件
>>> [x for x in os.listdir('.') if os.path.isfile(x) and os.path.splitext(x)[1]='.py']
SyntaxError: invalid syntax
>>> [x for x in os.listdir('.') if os.path.isfile(x) and os.path.splitext(x)[1]=='.py']

 4.序列化

定义：变量从内存变成可存储或传输的过程称之为序列化

python通过pickle进行序列化

首先。尝试将一个对象序列化并写入文件

>>> import pickle
>>> d = dict(name = 'bob',age = 20,source = 88)
>>> pickle.dumps(d)
b'x80x03}qx00(Xx04x00x00x00nameqx01Xx03x00x00x00bobqx02Xx03x00x00x00ageqx03Kx14Xx06x00x00x00sourceqx04KXu.'
>>> 

序列化成bytes类型写入文件，或者用pickle.dump()直接将对象序列化写入一个file-like Object

f = open('dump.txt','wb')

pickle.dump(d,f)

f.close()

当从磁盘读到内存，可以先把一个内容读到一个bytes类型，用pickle.load（）反序列化出对象

 json：作为一种对象序列化的标准格式

将python对象变成json

>>> import json
>>> d = dict(name = 'bob',age = 20,source =88)
>>> json.dumps(d)
'{"name": "bob", "age": 20, "source": 88}'

要把json反序列化为python对象，用loads（）或者load（）方法

>>> json_str = '{"age":20,"source":33,"name":bob}'
>>> json.loads(json_str)

json进阶

pyhon的dict对象可以直接序列化为json的{}，不过，很多时候，我们用class表示对象，然后序列化