python 文件操作总结

　　文件操作对于编程语言的重要性不言而喻，如果数据不能持久保存，信息技术也就失去了意义。

　　文件操作的内容包括打开文件，操作文件，关闭文件

　　关于文件操作的相关模块请参考博客：https://www.cnblogs.com/wj-1314/p/8557077.html

一，打开文件

　　python中打开文件的函数为open('filename',mode='r',encode='None')，open函数默认返回文件的句柄，我们可以根据句柄来对文件进行增,删,改,查的操作。将句柄赋给我们定义的变量,假设我们定义变量为f，则f=open('filename',mode='r',encode='utf-8') 或者with open('filename') as f。

注意点：

　　1.python解释器打开文件时，是对硬盘进行操作,需要内核态才可以操作硬盘，故此时python解释器是调用操作系统的文件读取接口。windows中文版本默认使用GBK编码表，linux默认使用utf-8，所有如果操作的文件在windows下，非GBK编码的，需要在open函数中声明编码类型，使操作系统运用相应的编码规则进行解码读取，防止串码，乱码现象。

　　2.open主要有三种模式,读(r),写(w),追加(a),其中，默认为读模式。各个模式的详解，见下文。

二，关闭文件

关闭文件有两组方式：

　　1.使用f.close()  ,f为open返回的句柄赋值的变量名。

　　 2.程序结束后，自动关闭。第一个方法容易造成文件写操作时，数据的丢失。原因是写数据时，数据会先保存在内存中，文件关闭时才会写入硬盘，此时如果文件未关闭，软件因为异常崩溃，导致内存中的数据丢失，且未写入硬盘中。作为第一种关闭方法的优化，是使用：with open('filename') as f 。with会创建一个程序块，将文件操作置于with程序块下，这样with控制块结束，文件也会自动关闭。

语法如下：

with open('f1.txt') as f1 , open('f2.txt') as f2:
    ......

　　

三，操作文件

3.1 file的基本方法

方法	功能
F.read([size])	size为读取的长度，以byte为单位
F.readline([size])	如果定义了size，有可能返回的只是一行的一部分
F.readlines([size])	把文件每一行作为一个list的一个成员，并返回这个list。其实它的内部是通过循环调用readline()来实现的。如果提供size参数，size是表示读取内容的总长，也就是说可能只读到文件的一部分
F.write(str)	把str写到文件中，write()并不会在str后加上一个换行符
F.writelines(seq)	把seq的内容全部写到文件中。这个函数也只是忠实地写入，不会在每行后面加上任何东西
F.close()	关闭文件。python会在一个文件不用后自动关闭文件，不过这一功能没有保证，最好还是养成自己关闭的习惯。如果一个文件在关闭后还对其进行操作会产生ValueError
F.flush()	把缓冲区的内容写入硬盘 ，即将内存中的数据刷新到银盘上
F.fileno()	返回一个长整型的”文件标签“
F.isatty()	文件是否是一个终端设备文件（unix系统中的）
F.tell()	返回文件操作标记的当前位置，以文件的开头为原点
F.next()	返回下一行，并将文件操作标记位移到下一行。把一个file用于for ... in file这样的语句时，就是调用next()函数来实现遍历的。
F.seek(offset[,whence])	将文件打操作标记移到offset的位置。这个offset一般是相对于文件的开头来计算的，一般为正数。但如果提供了whence参数就不一定了，whence可以为0表示从头开始计算，1表示以当前位置为原点计算。2表示以文件末尾为原点进行计算。需要注意，如果文件以a或a+的模式打开，每次进行写操作时，文件操作标记会自动返回到文件末尾
F.truncate([size])	把文件裁成规定的大小，默认的是裁到当前文件操作标记的位置。如果size比文件的大小还要大，依据系统的不同可能是不改变文件，也可能是用0把文件补到相应的大小，也可能是以一些随机的内容加上去。如果没有指定 size，则从当前位置起截断；截断之后 size 后面的所有字符被删除。

 

3.2 文件的读取、创建、追加、删除、清空

一，用python创建一个新文件，内容是0到9的整数，每个数字占一行

f = open('f.txt','w')
for i in range(0,10):
    f.write(str(i)+'
')

f.close()

二，文件内容追加，从0到9的10个随机整数

import random
f = open('f.txt','a')
for i in range(0,10):
    f.write(str(random.randint(0,9)))
f.write('
')
f.close()

三、文件内容追加，从0到9的随机整数, 10个数字一行，共10行

import random
f = open('f.txt','a')
for i in range(0,10):
    for i in range(0,10):
        f.write(str(random.randint(0,9)))
    f.write('
')
f.close()

四、把标准输出定向到文件

import sys
sys.stdout = open('stdout.txt','w')

五，文件的读写

5.1，文件打开

f = file(name[, mode[, buffering]])
name 文件名

mode   选项,字符串

buffering   是否缓冲 (0=不缓冲，1=缓冲, >1的int数=缓冲区大小) 

文件的读写属性

　　file对象有自己的属性和方法。先来看看file的属性。（+和b可以和其他的字符组合成mode，例如rb以二进制只读方式打开，mode参数是可选的，如果没有默认为r）

（注意：文件打开之后，应当被及时关闭，可以查看f.closed属性以确认文件是否被关闭）

mode	function
r	只读模式（默认，文件不存在，则发生异常）文件的指针将会放在文件的开头
w	只写模式（可读，文件不存在则创建，存在则删除内容，再打开文件）
a	追加模式（只能写，文件不存在则创建，存在则追加内容）
r+	可读写模式（可读，可写，可追加）,如果文件存在，则覆盖当前文件指针所在位置的字符，如原来文件内容是"Hello，World"，打开文件后写入"hi"则文件内容会变成"hillo, World"
b	以二进制方式打开（如：FTP发送上传ISO镜像文件，linux可忽略，windows处理二进制文件时需标注）
w+	先写再读（可读，可写，可追加） 如果该文件已存在则将其覆盖。如果该文件不存在，创建新文件。
a+	同a(可读可写，文件不存在则创建，存在则追加内容)。如果该文件已存在，文件指针将会放在文件的结尾。文件打开时会是追加模式。如果该文件不存在，创建新文件用于读写。
rb	以二进制读方式打开，只能读文件 ， 如果文件不存在，会发生异常
wb	以二进制写方式打开，只能写文件， 如果文件不存在，创建该文件
ab	二进制追写文件。 从文件顶部读取内容 从文件底部添加内容 不存在则创建
rt	以文本读方式打开，只能读文件 ， 如果文件不存在，会发生异常
wt	以文本写方式打开，只能读文件 ， 如果文件不存在，创建该文件。如果文件存在。先清空，再打开文件
at	以文本读写方式打开，只能读文件 ， 如果文件不存在，创建该文件。如果文件存在。先清空，再打开文件
rb+	以二进制读方式打开，可以读、写文件 ， 如果文件不存在，会发生异常
wb+	以二进制写方式打开，可以读、写文件， 如果文件不存在，创建该文件.如果文件存在。先清空，再打开文件
ab+	追读写二进制。从文件顶部读取内容 从文件底部添加内容 不存在则创建

5.2，关闭文件

f.close()

　　当文件读写完毕后，应关闭文件

六，清空文件内容

f.truncate()

　　注意：仅当以 "r+"   "rb+"    "w"   "wb" "wb+"等以可写模式打开的文件才可以执行该功能

七，文件的指针定位与查询

7.1，文件指针：
      文件被打开后，其对象保存在 f 中， 它会记住文件的当前位置,以便于执行读、写操作，这个位置称为文件的指针( 一个从文件头部开始计算的字节数 long 类型 )。

7.2，文件打开时的位置:

      以"r"   "r+"   "rb+" 读方式, "w"   "w+"   "wb+"写方式 打开的文件，
     一开始，文件指针均指向文件的头部。

7.3，获取文件指针的值:

 L = f.tell()

　　
7.4，移动文件的指针

 f.seek(   偏移量, 选项 )


      选项 =0 时， 表示将文件指针指向从文件头部到 "偏移量"字节处。


      选项 =1 时， 表示将文件指针指向从文件的当前位置，向后移动 "偏移量"字节。


      选项 =2 时， 表示将文件指针指向从文件的尾部，，向前移动 "偏移量"字节。

八，从文件读取内容

8.1，文本文件（以"rt"方式打开的文件）的读取  

s = f.readline(     )


        返回值： s 是字符串，从文件中读取的一行，含行结束符。


        说明： (1)  如果 len( s ) =0 表示已到文件尾


                    (2)   如果是文件的最后一行，有可能没有行结束符

8.2，二进制文件（以"rb"、"rb+"、"wb+" 方式打开的文件）的读取  

s = f.read(    n )


     说明： (1)  如果 len( s ) =0 表示已到文件尾


                  (2)   文件读取后，文件的指针向后移动 len(s) 字节。


                （3）如果磁道已坏，会发生异常。

九，向文件写入一个字符串

f.write(    s )


    参数：       s 要写入的字符串


    说明： (1)文件写入后，文件的指针向后移动 len(s) 字节。


                 （2）如果磁道已坏，或磁盘已满会发生异常。


返回值： s 是字符串，从文件中读取的内容

十，删除文件

import os


os.remove(file)

import os
os.remove('s.txt')

3.3 python逐行读取文件内容的两种方法

方法一：

for line in open('f.txt'):
    print(line)

方法二：

f =open('f.txt','r')
lines =f.readlines()
for i in lines:
    print(i)

 3.4文件定位

　　tell()方法告诉你文件内的当前位置, 换句话说，下一次的读写会发生在文件开头这么多字节之后。

　　seek（offset [,from]）方法改变当前文件的位置。Offset变量表示要移动的字节数。From变量指定开始移动字节的参考位置。

　　offset -- 偏移量，也就是代表需要移动偏移的字节数,注意是按照字节算的，字符编码存每个字符所占的字节长度不一样。

　　　　如“好好学习” 用gbk存是2个字节一个字，用utf-8就是3个字节，因此以gbk打开时，seek(4) 就把光标切换到了“飞”和“学”两个字中间。
　　　　但如果是utf8,seek(4)会导致，拿到了飞这个字的一部分字节，打印的话会报错，因为处理剩下的文本时发现用utf8处理不了了，因为编码对不上了。少了一个字节。

　　如果from被设为0，这意味着将文件的开头作为移动字节的参考位置。

　　如果设为1，则使用当前的位置作为参考位置。

　　如果它被设为2，那么该文件的末尾将作为参考位置。

例子：

#打开一个文件
f =open('f.txt','r+')
str_read = f.read(10)
print("读取的字符串是：%s" % str_read)

#查找当前位置
position = f.tell()
print("当前位置： %s" %position)

#把指针再次重新定位到文件开头
position =f.seek(0,0)
str_read =f.read(10)
print("重新读取读取的字符串是：%s" % str_read)

#关闭文件
f.close()

结果：
读取的字符串是：2204513940
当前位置： 10
重新读取读取的字符串是：2204513940

3.5 重命名和删除文件

Python的os模块提供了帮你执行文件处理操作的方法，比如重命名和删除文件。

要使用这个模块，你必须先导入它，然后才可以调用相关的各种功能。

rename()方法：

rename()方法需要两个参数，当前的文件名和新文件名。

语法：

os.rename(current_file_name, new_file_name)

例子：

import os
#重命名文件f.txt问哦file.txt
os.rename('f.txt','file.txt')

remove方法

你可以用remove()方法删除文件，需要提供要删除的文件名作为参数。

语法：

os.remove(file_name)

例子：

import os
os.remove('stdout.txt')

3.6 文件修改

　　硬盘的存储原理就是，当你把文件存到硬盘上，就在硬盘上划了一块空间，存数据，等你下次打开这个文件，会seek到一个位置，每改一个字，就是把原来的覆盖掉，如果要插入，是不可能的，因为后面的数据在硬盘上不会整体向后移动，所以就会出现当前这个情况，你要插入，却变成把旧内容覆盖掉。

　　所以修改文件，就不要在硬盘上修改，把内容全部读到内存里，数据在内存里可以随便增删改查，修改之后，把内容全部写回硬盘，把原来的数据全部覆盖掉。

　　当然了，如果有些文件特别大，比如5G，那么一下吃掉这么大内存，非常浪费资源，所以更好的方法就是，如果不像占内存，那么就边读边写，也就是不修改源文件，但是可以打开丢文件的同时，生成一个新文件，边从旧的里面读，边往新的里面写，遇到需要修改的就改了再写道新文件，这样在内存里面一直只存一行内容，就不占内存了，但是也有一个缺点就是，虽然不占内存，但是占硬盘，每次修改，都要生成一份新文件，虽然改完后，可以把旧的覆盖掉，但是在改的过程中，还是有两份数据

　　3.6.1文件修改占硬盘

代码：

f_name= 'file.txt'
f_new_name = 'file_new.txt'
old_str = '123'
new_str = '123123123'

f = open(f_name,'r',encoding='gbk')
f_new = open(f_new_name,'w',encoding='gbk')

for line in f:
    if old_str in line:
        line = line.replace(old_str,new_str)
    f_new.write(line)
f.close()
f_new.close()

　　上面的代码会生成一个修改后的新文件，源文件不动，若想覆盖源文件

代码如下：

import os
os.replace(file_new_name,file_name)

　　3.6.2文件修改占内存

　　这样不需要占用两个文件，只需要写一个文件，直接r+就可以，但是会出现一个问题，就是要是以前文件内容多，现在少了，那会出错，为了避免这种错误的发生，使用truncate()就ok

 userinfo.txt的内容：

1:www.baidu.com
2:www.google.com
3:www.tencent.com
4:www.tianmao.com
5:www.jingdong.com

　　

f.truncate([size])
把文件裁成规定的大小，默认的是裁到当前文件操作标记的位置。
如果size比文件的大小还要大，依据系统的不同可能是不改变文件，
也可能是用0把文件补到相应的大小，也可能是以一些随机的内容加上去。

file = open('userinfo.txt','r+',encoding='utf-8')
print('文件名为：',file.name)

line =file.readline()
print('读取第一行：%s' %line)

#截断剩下的字符串
file.truncate()

#尝试再次读取数据
line =file.readline()
print('读取数据：%s' %line)

file.close()

# 结果：
# 文件名为： userinfo.txt
# 读取第一行：1:www.baidu.com
# 
# 读取数据：2:www.google.com

　　

file = open('userinfo.txt','r+',encoding='utf-8')
print('文件名为：',file.name)

line =file.readline()
print('读取第一行：%s' %line)

#截断10的字符串
file.truncate(10)

#尝试再次读取数据
line =file.readline()
print('读取数据：%s' %line)

file.close()

结果：
文件名为： userinfo.txt
读取第一行：1:www.baid
读取数据：

　　

四，补充内容

4.1 各种系统操作

　　注意：虽然python中提供了各种拼接目录的函数，但是，函数并不能保证字符编码不出问题，很大可能导致程序错误。所以最好还是自己拼接。

 　　python中对文件、文件夹（文件操作函数）的操作需要涉及到os模块和shutil模块。

得到当前工作目录，即当前Python脚本工作的目录路径: os.getcwd()

返回指定目录下的所有文件和目录名:os.listdir()

函数用来删除一个文件:os.remove()

删除多个目录：os.removedirs（r“c：python”）

检验给出的路径是否是一个文件：os.path.isfile()

检验给出的路径是否是一个目录：os.path.isdir()

判断是否是绝对路径：os.path.isabs()

检查是否快捷方式os.path.islink ( filename )

检验给出的路径是否真地存:os.path.exists()

返回一个路径的目录名和文件名:os.path.split() eg os.path.split('/home/swaroop/byte/code/poem.txt') 结果：('/home/swaroop/byte/code', 'poem.txt')

分离扩展名：os.path.splitext()

获取路径名：os.path.dirname()

获取文件名：os.path.basename()

运行shell命令: os.system()

读取和设置环境变量:os.getenv() 与os.putenv()

给出当前平台使用的行终止符:os.linesep Windows使用'
'，Linux使用'
'而Mac使用'
'
指示你正在使用的平台：os.name 对于Windows，它是'nt'，而对于Linux/Unix用户，它是'posix'
重命名：os.rename（old， new）

创建多级目录：os.makedirs（r“c：python	est”）

创建单个目录：os.mkdir（“test”）

获取文件属性：os.stat（file）

修改文件权限与时间戳：os.chmod（file）

终止当前进程：os.exit（）

获取文件大小：os.path.getsize（filename）

　　

4.2 各种目录操作

os.mkdir("file") 创建目录

复制文件：
shutil.copyfile("oldfile","newfile") oldfile和newfile都只能是文件
shutil.copy("oldfile","newfile") oldfile只能是文件夹，newfile可以是文件，也可以是目标目录

复制文件夹：
shutil.copytree("olddir","newdir") olddir和newdir都只能是目录，且newdir必须不存在

重命名文件（目录）
os.rename("oldname","newname") 文件或目录都是使用这条命令

移动文件（目录）
shutil.move("oldpos","newpos") 

删除文件
os.remove("file")

删除目录
os.rmdir("dir")只能删除空目录
shutil.rmtree("dir") 空目录、有内容的目录都可以删

转换目录
os.chdir("path") 换路径
 
ps: 文件操作时，常常配合正则表达式：
img_dir = img_dir.replace('\','/')

五，文件处理习题

　　文件操作分为读，写，修改

5.1 读文件

举例如下：

f = open(file=‘userinfo.txt',mode='r',encoding='utf-8')

data = f.read()

f.close()

上述操作语法解释如下：

file=‘userinfo.txt'  表示文件路径
mode='r'                                          表示只读（可以修改为其他）
encoding='utf-8'                                  表示将硬盘上的 0101010 按照utf-8的规则去“断句”，
    再将“断句”后的每一段0101010转换成unicode的 01010101，unicode对照表中有01010101和
    字符的对应关系。
f.read()                                          表示读取所有内容，内容是已经转换完毕的字符串。
f.close()                                         表示关闭文件

　　再看一个例子：

f = open(file='userinfo.txt',mode='rb')
data = f.read()
f.close()

上述操作语法解释：

file='userinfo.txt'      表示文件路径
mode='rb'                                            表示只读（可以修改为其他）
f.read()                                             表示读取所有内容，内容是硬盘上原来以某种编码保存010101010，即：某种编码格式的字节类型
f.close()                                            表示关闭文件

　　问：两个例子的区别在哪？

　　答：在于示例2打开文件时并未指定encoding,这是为何？是因为直接以rb模式打开了文件 ，rb是指二进制模式，数据读到内存里直接是bytes格式，如果想内容，还需要手动decode,因此在文件打开阶段，不需要指定编码

　　问：假设你不知道你要处理的文件是什么编码可怎么办？

import chardet

f = open('log',mode='rb')
data = f.read()
f.close()

result = chardet.detect(open('log',mode='rb').read())
print(result)

　　输出：

{'encoding': 'GB2312', 'confidence': 0.99, 'language': 'Chinese'}

　　

注意：

• 文件操作时，以 “r”或“rb” 模式打开，则只能读，无法写入；
• 硬盘上保存的文件都是某种编码的0101010，打开时需要注意：
• rb，直接读取文件保存时原生的0101010，在Python中用字节类型表示
• r和encoding，读取硬盘的0101010，并按照encoding指定的编码格式进行断句，再将“断句”后的每一段0101010转换成unicode的 010101010101，在Python中用字符串类型表示

 5.2文件操作的其他功能

 def fileno(self, *args, **kwargs): # real signature unknown
        返回文件句柄在内核中的索引值，以后做IO多路复用时可以用到

    def flush(self, *args, **kwargs): # real signature unknown
        把文件从内存buffer里强制刷新到硬盘

    def readable(self, *args, **kwargs): # real signature unknown
        判断是否可读

    def readline(self, *args, **kwargs): # real signature unknown
        只读一行，遇到
 or 
为止

    def seek(self, *args, **kwargs): # real signature unknown
        把操作文件的光标移到指定位置
        *注意seek的长度是按字节算的， 字符编码存每个字符所占的字节长度不一样。
        如“路飞学城” 用gbk存是2个字节一个字，用utf-8就是3个字节，因此以gbk打开时，seek(4) 就把光标切换到了“飞”和“学”两个字中间。
        但如果是utf8,seek(4)会导致，拿到了飞这个字的一部分字节，打印的话会报错，因为处理剩下的文本时发现用utf8处理不了了，因为编码对不上了。少了一个字节

    def seekable(self, *args, **kwargs): # real signature unknown
        判断文件是否可进行seek操作

    def tell(self, *args, **kwargs): # real signature unknown
        返回当前文件操作光标位置 

    def truncate(self, *args, **kwargs): # real signature unknown
        按指定长度截断文件
        *指定长度的话，就从文件开头开始截断指定长度，不指定长度的话，就从当前位置到文件尾部的内容全去掉。

    def writable(self, *args, **kwargs): # real signature unknown
        判断文件是否可写

　　

5.3 例题

读文件找到第9个字符，华 ，找到第二行的 实，删除最后一行 写入文件
桃之夭夭，灼灼其华。之子于归，宜其室家。
桃之夭夭，有蕡其实。之子于归，宜其家室。
桃之夭夭，其叶蓁蓁。之子于归，宜其家人。

# 2.读文件找到第9个字符，华 ，找到第二行的 实，删除最后一行 写入文件
# 桃之夭夭，灼灼其华。之子于归，宜其室家。
# 桃之夭夭，有蕡其实。之子于归，宜其家室。
# 桃之夭夭，其叶蓁蓁。之子于归，宜其家人。

f = open('poem.txt', 'r+', encoding='utf-8')
# f.seek(3*8)
# print(f.read(1))
# f.seek(3*28+2)
# print(f.read(1))
data_list = f.readlines()
print(data_list)
data_list.pop()
print(data_list)
f.seek(0)
f.truncate()
f.write(''.join(data_list))

　　

5.4 例题：读取一个文件下的所有文件

import  os

def read_image(image_dir):
    photofile_list = os.listdir(image_dir)
    for i in range(len(photofile_list)):
        photo_path = os.path.join(image_dir,photofile_list[i])
        print(photo_path)

 5.5 例题：判定目录是否存在，若不存在即创建

import os
if not os.path.isdir(dir_name):
    os.makedir(dir_name)

　　

os.mkdir()创建路径中的最后一级目录，而如果之前的目录不存在并且也需要创建的话，就会报错。

os.makedirs()创建多层目录，如果中间目录都不存在的话，会自动创建。

 5.6 读取文件的行数

import csv
a=open("Train_A_wear.csv","r")
b=len(a.readlines())
print(b)

　　

5.7  批量重命名文件名

import os

class BatchRename():
    # 批量重命名文件夹中的图片文件
    def __init__(self):
        self.path_A = '../binary_variable/A'
        self.path_B = '../binary_variable/B'


    def rename(self):
        filelist_A = os.listdir(self.path_A)
        filelist_B = os.listdir(self.path_B)
        total_num_A = len(filelist_A)
        total_num_B = len(filelist_B)
        i = 1
        for item in filelist_A:
            # 初始的图片的格式为jpg格式的，或者png
            if item.endswith('.jpg') or item.endswith('png'):
                src = os.path.join(os.path.abspath(self.path_A), item)
                # 处理后的格式也为jpg格式的，当然这里也可以改成png格式
                dst = os.path.join(os.path.abspath(self.path_A), str(i) + '.jpg')

                try:
                    os.rename(src, dst)
                    i = i + 1
                except:
                    continue

        for item in filelist_B:
            # 初始的图片的格式为jpg格式的，或者png
            if item.endswith('.jpg') or item.endswith('png'):
                src = os.path.join(os.path.abspath(self.path_B), item)
                # 处理后的格式也为jpg格式的，当然这里也可以改成png格式
                dst = os.path.join(os.path.abspath(self.path_B), str(i) + '.jpg')

                try:
                    os.rename(src, dst)
                    i = i + 1
                except:
                    continue

if __name__ == '__main__':
    demo = BatchRename()
    demo.rename()