zoukankan      html  css  js  c++  java
  • Shutil模块介绍

    引言

    在看django和scrapy源码的时候,可以看见他会有一个模式,即先有一些模块文件,在他的源码中,当你使用他规定的命令的时候,就会复制这些文件,来生成你要的模板文件。这里就是用了python自带的shutil模块。

    回想

    曾经自己写过一个复制备份的模块,当时写的时候还觉得自己太NB了,还能兼顾linux,windows的兼容性,使用了windows的copy命令和linux的cp命令,用python来调用这些命令,现在想想挺搞笑,其实完全可以用shutil模块来,哎,没文化真可怕。不过开发的过程也是一个体会的过程,不是么,说不定shutil模块也是使用了这些命令呢, 当然,这是猜测,实际上不是。但是会有那么一点影子的。后面我会给出分析。

    基本功能介绍

    这一点想获得更多知识请参看api,这里我只说一些常用的。

    1.    基本复制方法

    采用给出2个文件对象的方式,在2个文件对象之间进行数据复制达到目的。

    copyfileobj源码:

    def copyfileobj(fsrc, fdst, length=16*1024):
    """copy data from file-like object fsrc to file-like object fdst"""
    while 1:
    buf = fsrc.read(length)
    if not buf:
    break
    fdst.write(buf)

    分析:给出2个文件对象,通过读取原文件的内容,写入到新文件对象中,每次写入16KB。

    这个方法实际是不常用的,而是为了我们的常用方式做准备的。注意这个方法这里没有流文件对象并没有关闭,即这确实只是一个基础方法。

    Copyfile源码

    def copyfile(src, dst):
    """Copy data from src to dst"""
    if _samefile(src, dst):
    raise Error, "`%s` and `%s` are the same file" % (src, dst)

    fsrc = None
    fdst = None
    try:
    fsrc = open(src, 'rb')
    fdst = open(dst, 'wb')
    copyfileobj(fsrc, fdst)
    finally:
    if fdst:
    fdst.close()
    if fsrc:
    fsrc.close()

    这里代码没有任何难度,读取2个文件对象,调用刚才的copyfileobject对象。

    测试.

    条件:

    E:\test\a文件夹下有一个文件jquery.min.js

    E:\test\b下没有任何文件,但必须指定一个文件名

    #! -*- encoding:utf-8 -*-
    import shutil
    shutil.copyfile("E:\\test\\a\\jquery.min.js", "E:\\test\\b\\jquery.min.js")

    执行结果在E:\test\b目录下生成了一个名为jquery.min.js的文件。

    外部调用方法

    Copy源码

    def copy(src, dst):
    """Copy data and mode bits ("cp src dst").

    The destination may be a directory.

    """
    if os.path.isdir(dst):
    dst = os.path.join(dst, os.path.basename(src))
    copyfile(src, dst)
    copymode(src, dst)

    可以看到这里有有趣的一行注释copy data and mode bits(“cp src dst”)复制文件内容的执行模式,完成的功能类似于cp src dst,在linux中不就是这个命令么,当然linux最终底层怎么实现的不得而知。 猜测也差不了多少。

    代码解释,这里有一个条件,即如果dst是文件夹,而不是文件对象,那么就使用原来文件的文件名。即这个copy方法可以不用管是否拷贝对象是否是一个完整路径,文件夹也行,只不过文件夹的话,就以原来的文件名为新文件的文件名了。

    测试,将刚才上个测试程序b文件夹中的文件清除,可以执行下面程序。会有新文件复制成功。

    #! -*- encoding:utf-8 -*-
    import shutil

    shutil.copy("E:\\test\\a\\jquery.min.js", "E:\\test\\b")

    Copy2源码

    def copy2(src, dst):
    """Copy data and all stat info ("cp -p src dst").

    The destination may be a directory.

    """
    if os.path.isdir(dst):
    dst = os.path.join(dst, os.path.basename(src))
    copyfile(src, dst)
    copystat(src, dst)

    对比copy和copy2,发现只有copyfile下面的方法变了,而注释变成了cp –p src dst,熟悉linux的同学应该了解各种参数意义。

    这里将原有文件的所有属性状态都copy过去了

    Copytree源码

    def copytree(src, dst, symlinks=False, ignore=None):
        names = os.listdir(src)
        if ignore is not None:
            ignored_names = ignore(src, names)
        else:
            ignored_names = set()
    
        os.makedirs(dst)
        errors = []
        for name in names:
            if name in ignored_names:
                continue
            srcname = os.path.join(src, name)
            dstname = os.path.join(dst, name)
            try:
                if symlinks and os.path.islink(srcname):
                    linkto = os.readlink(srcname)
                    os.symlink(linkto, dstname)
                elif os.path.isdir(srcname):
                    copytree(srcname, dstname, symlinks, ignore)
                else:
                    copy2(srcname, dstname)
                # XXX What about devices, sockets etc.?
            except (IOError, os.error), why:
                errors.append((srcname, dstname, str(why)))
            # catch the Error from the recursive copytree so that we can
            # continue with other files
            except Error, err:
                errors.extend(err.args[0])
        try:
            copystat(src, dst)
        except OSError, why:
            if WindowsError is not None and isinstance(why, WindowsError):
                # Copying file access times may fail on Windows
                pass
            else:
                errors.extend((src, dst, str(why)))
        if errors:
            raise Error, errors
    

      

    该方法给出一个原始文件夹系统,下面可以有N个文件夹和文件,给出dst,即给出你想copy的路径的根路径,注意,这个根路径当前是必须不存在的,源码中标注红色部分,如果存在,会产生错误。这一点上,感觉该做一个条件判断的,可惜没做。当然不是大问题。有点吹毛求疵了。

    测试:

    E:\test\a 在a 目录下任意新建文件夹和文件,N多层次,test下也只有a这个文件夹。

    #! -*- encoding:utf-8 -*-
    import shutil

    shutil.copytree("E:\\test\\a", "E:\\test\\b")

    执行后会在test文件夹下多出一个b文件夹,并且b文件夹下有a文件夹下的所有内容.

    Rmtree源码

    def rmtree(path, ignore_errors=False, onerror=None):
    if ignore_errors:
    def onerror(*args):
    pass
    elif onerror is None:
    def onerror(*args):
    raise
    try:
    if os.path.islink(path):
    # symlinks to directories are forbidden, see bug #1669
    raise OSError("Cannot call rmtree on a symbolic link")
    except OSError:
    onerror(os.path.islink, path, sys.exc_info())
    # can't continue even if onerror hook returns
    return
    names = []
    try:
    names = os.listdir(path)
    except os.error, err:
    onerror(os.listdir, path, sys.exc_info())
    for name in names:
    fullname = os.path.join(path, name)
    try:
    mode = os.lstat(fullname).st_mode
    except os.error:
    mode = 0
    if stat.S_ISDIR(mode):
    rmtree(fullname, ignore_errors, onerror)
    else:
    try:
    os.remove(fullname)
    except os.error, err:
    onerror(os.remove, fullname, sys.exc_info())
    try:
    os.rmdir(path)
    except os.error:
    onerror(os.rmdir, path, sys.exc_info())

    我想看名字你就该知道这个方法是干嘛的了。

    刚才copytree执行成功后立即执行下面的代码:

    #! -*- encoding:utf-8 -*-
    import shutil

    shutil.rmtree("E:\\test\\b")

    可以发现b文件夹连同下面的文件都消失了。

    Move源码

    def move(src, dst):
    real_dst = dst
    if os.path.isdir(dst):
    real_dst = os.path.join(dst, _basename(src))
    if os.path.exists(real_dst):
    raise Error, "Destination path '%s' already exists" % real_dst
    try:
    os.rename(src, real_dst)
    except OSError:
    if os.path.isdir(src):
    if destinsrc(src, dst):
    raise Error, "Cannot move a directory '%s' into itself '%s'." % (src, dst)
    copytree(src, real_dst, symlinks=True)
    rmtree(src)
    else:
    copy2(src, real_dst)
    os.unlink(src)

    同上,看名字就知道的功能,类似于windows的ctrl+x->ctrl+v操作。

    测试。

    执行完rmtree后,test目录只有一个a文件夹,执行下面程序,可以看到a文件夹没有了,取而代之的是b文件夹下有a文件夹的所有内容。有点想os.rename了,但是只是因为我将这2个测试文件都放在了一起而已,即他能比较笨的完成os.rename的功能,但os.rename不可能会做move的功能。

    #! -*- encoding:utf-8 -*-
    import shutil
    shutil.move("E:\\test\\a", "E:\\test\\b")

    最后,解释下这个模块的名字,shutil , shu+til?中国人相信第一次看见都那么分的, 从上面分析的功能看应该是sh+util,即完成shell的一些功能的工具集。




















  • 相关阅读:
    插入排序实现
    冒泡排序的实现
    选择排序的实现方法
    实现文字的竖排
    一个实体类的定义
    将字符串中的非字母数字,转化为ascii码输出
    根据员工入职时间和合同期计算下一次合同签订时间
    centos安装java的问题解决
    弓箭射小人
    Nature & Science 20102011年全部期刊下载链接
  • 原文地址:https://www.cnblogs.com/CLTANG/p/2249257.html
Copyright © 2011-2022 走看看