引言
在看django和scrapy源码的时候,可以看见他会有一个模式,即先有一些模块文件,在他的源码中,当你使用他规定的命令的时候,就会复制这些文件,来生成你要的模板文件。这里就是用了python自带的shutil模块。
回想
曾经自己写过一个复制备份的模块,当时写的时候还觉得自己太NB了,还能兼顾linux,windows的兼容性,使用了windows的copy命令和linux的cp命令,用python来调用这些命令,现在想想挺搞笑,其实完全可以用shutil模块来,哎,没文化真可怕。不过开发的过程也是一个体会的过程,不是么,说不定shutil模块也是使用了这些命令呢, 当然,这是猜测,实际上不是。但是会有那么一点影子的。后面我会给出分析。
基本功能介绍
这一点想获得更多知识请参看api,这里我只说一些常用的。
1. 基本复制方法
采用给出2个文件对象的方式,在2个文件对象之间进行数据复制达到目的。
copyfileobj源码:
def copyfileobj(fsrc, fdst, length=16*1024):
"""copy data from file-like object fsrc to file-like object fdst"""
while 1:
buf = fsrc.read(length)
if not buf:
break
fdst.write(buf)
分析:给出2个文件对象,通过读取原文件的内容,写入到新文件对象中,每次写入16KB。
这个方法实际是不常用的,而是为了我们的常用方式做准备的。注意这个方法这里没有流文件对象并没有关闭,即这确实只是一个基础方法。
Copyfile源码
def copyfile(src, dst):
"""Copy data from src to dst"""
if _samefile(src, dst):
raise Error, "`%s` and `%s` are the same file" % (src, dst)
fsrc = None
fdst = None
try:
fsrc = open(src, 'rb')
fdst = open(dst, 'wb')
copyfileobj(fsrc, fdst)
finally:
if fdst:
fdst.close()
if fsrc:
fsrc.close()
这里代码没有任何难度,读取2个文件对象,调用刚才的copyfileobject对象。
测试.
条件:
E:\test\a文件夹下有一个文件jquery.min.js
E:\test\b下没有任何文件,但必须指定一个文件名
#! -*- encoding:utf-8 -*-
import shutil
shutil.copyfile("E:\\test\\a\\jquery.min.js", "E:\\test\\b\\jquery.min.js")
执行结果在E:\test\b目录下生成了一个名为jquery.min.js的文件。
外部调用方法
Copy源码
def copy(src, dst):
"""Copy data and mode bits ("cp src dst").
The destination may be a directory.
"""
if os.path.isdir(dst):
dst = os.path.join(dst, os.path.basename(src))
copyfile(src, dst)
copymode(src, dst)
可以看到这里有有趣的一行注释copy data and mode bits(“cp src dst”)复制文件内容的执行模式,完成的功能类似于cp src dst,在linux中不就是这个命令么,当然linux最终底层怎么实现的不得而知。 猜测也差不了多少。
代码解释,这里有一个条件,即如果dst是文件夹,而不是文件对象,那么就使用原来文件的文件名。即这个copy方法可以不用管是否拷贝对象是否是一个完整路径,文件夹也行,只不过文件夹的话,就以原来的文件名为新文件的文件名了。
测试,将刚才上个测试程序b文件夹中的文件清除,可以执行下面程序。会有新文件复制成功。
#! -*- encoding:utf-8 -*-
import shutil
shutil.copy("E:\\test\\a\\jquery.min.js", "E:\\test\\b")
Copy2源码
def copy2(src, dst):
"""Copy data and all stat info ("cp -p src dst").
The destination may be a directory.
"""
if os.path.isdir(dst):
dst = os.path.join(dst, os.path.basename(src))
copyfile(src, dst)
copystat(src, dst)
对比copy和copy2,发现只有copyfile下面的方法变了,而注释变成了cp –p src dst,熟悉linux的同学应该了解各种参数意义。
这里将原有文件的所有属性状态都copy过去了
Copytree源码
def copytree(src, dst, symlinks=False, ignore=None): names = os.listdir(src) if ignore is not None: ignored_names = ignore(src, names) else: ignored_names = set() os.makedirs(dst) errors = [] for name in names: if name in ignored_names: continue srcname = os.path.join(src, name) dstname = os.path.join(dst, name) try: if symlinks and os.path.islink(srcname): linkto = os.readlink(srcname) os.symlink(linkto, dstname) elif os.path.isdir(srcname): copytree(srcname, dstname, symlinks, ignore) else: copy2(srcname, dstname) # XXX What about devices, sockets etc.? except (IOError, os.error), why: errors.append((srcname, dstname, str(why))) # catch the Error from the recursive copytree so that we can # continue with other files except Error, err: errors.extend(err.args[0]) try: copystat(src, dst) except OSError, why: if WindowsError is not None and isinstance(why, WindowsError): # Copying file access times may fail on Windows pass else: errors.extend((src, dst, str(why))) if errors: raise Error, errors
该方法给出一个原始文件夹系统,下面可以有N个文件夹和文件,给出dst,即给出你想copy的路径的根路径,注意,这个根路径当前是必须不存在的,源码中标注红色部分,如果存在,会产生错误。这一点上,感觉该做一个条件判断的,可惜没做。当然不是大问题。有点吹毛求疵了。
测试:
E:\test\a 在a 目录下任意新建文件夹和文件,N多层次,test下也只有a这个文件夹。
#! -*- encoding:utf-8 -*-
import shutil
shutil.copytree("E:\\test\\a", "E:\\test\\b")
执行后会在test文件夹下多出一个b文件夹,并且b文件夹下有a文件夹下的所有内容.
Rmtree源码
def rmtree(path, ignore_errors=False, onerror=None):
if ignore_errors:
def onerror(*args):
pass
elif onerror is None:
def onerror(*args):
raise
try:
if os.path.islink(path):
# symlinks to directories are forbidden, see bug #1669
raise OSError("Cannot call rmtree on a symbolic link")
except OSError:
onerror(os.path.islink, path, sys.exc_info())
# can't continue even if onerror hook returns
return
names = []
try:
names = os.listdir(path)
except os.error, err:
onerror(os.listdir, path, sys.exc_info())
for name in names:
fullname = os.path.join(path, name)
try:
mode = os.lstat(fullname).st_mode
except os.error:
mode = 0
if stat.S_ISDIR(mode):
rmtree(fullname, ignore_errors, onerror)
else:
try:
os.remove(fullname)
except os.error, err:
onerror(os.remove, fullname, sys.exc_info())
try:
os.rmdir(path)
except os.error:
onerror(os.rmdir, path, sys.exc_info())
我想看名字你就该知道这个方法是干嘛的了。
刚才copytree执行成功后立即执行下面的代码:
#! -*- encoding:utf-8 -*-
import shutil
shutil.rmtree("E:\\test\\b")
可以发现b文件夹连同下面的文件都消失了。
Move源码
def move(src, dst):
real_dst = dst
if os.path.isdir(dst):
real_dst = os.path.join(dst, _basename(src))
if os.path.exists(real_dst):
raise Error, "Destination path '%s' already exists" % real_dst
try:
os.rename(src, real_dst)
except OSError:
if os.path.isdir(src):
if destinsrc(src, dst):
raise Error, "Cannot move a directory '%s' into itself '%s'." % (src, dst)
copytree(src, real_dst, symlinks=True)
rmtree(src)
else:
copy2(src, real_dst)
os.unlink(src)
同上,看名字就知道的功能,类似于windows的ctrl+x->ctrl+v操作。
测试。
执行完rmtree后,test目录只有一个a文件夹,执行下面程序,可以看到a文件夹没有了,取而代之的是b文件夹下有a文件夹的所有内容。有点想os.rename了,但是只是因为我将这2个测试文件都放在了一起而已,即他能比较笨的完成os.rename的功能,但os.rename不可能会做move的功能。
#! -*- encoding:utf-8 -*-
import shutil
shutil.move("E:\\test\\a", "E:\\test\\b")
最后,解释下这个模块的名字,shutil , shu+til?中国人相信第一次看见都那么分的, 从上面分析的功能看应该是sh+util,即完成shell的一些功能的工具集。