文件查询之三：文件和目录的批量操作

经过之前两篇的随笔已经可以将所需要的文件和目录查找出来，并且保存在一个文档中，所以现在就是利用保存文件或目录的文档来进行批量处理，对文件或目录进行批量的

删除、复制和移动。主要是用到shutil模块中的函数和os模块中的函数进行一系列的操作。shutil模块存在大量的文件操作和目录操作的函数，包括常用的移动文件或复制文件

等操作，其中os和shutil下对于函数的功能存在交集，只不过相同功能下的函数名存在差异，函数上的细节处理方面也有可能不一样。在这里主要的是讲shutil模块下的函数。

首先是将文件的操作函数写下，由于两个功能具体的实现是差不多的，而且只需要改写一下函数名就可以实现另一个文件操作的功能，所有这里使用了一个字典来标识函数，

然后通过相应的功能函数去调用，并且传入相应的字典值来调用shutil模块下的函数，具体代码如下：

FileFunc = {'copyFile':shutil.copy2,
            'moveFile':shutil.move}

def OperationFileFunc(srcPath,dstPath,FileFunc):
    if os.path.exists(srcPath):
        # 该文件存在于源目录
        if os.path.exists(dstPath + '\' +srcPath.split('\')[-1]):
            print('The file is exists in %s' % dstPath)
            # y:yes  覆盖  n:no 创建一个副本   i:ignore 不复制
            result = raw_input('Do you want to continue cover it?(y/n/i):')
            if result in ['y','Y']:
                # 覆盖原有文件
                FileFunc(srcPath,dstPath)
            elif result in ['n','N']:
                # 创建副本
                fname = srcPath.split('\')[-1].split('.')
                FileFunc(srcPath,dstPath+'\'+fname[0]+'bak.'+fname[1])
            else:
                # 不操作
                print('[+] No copy file : %s' % srcPath)
        else:
            # 当目标目录下不存在该文件时，就直接进行相应的操作
            FileFunc(srcPath,dstPath)
    else:
        print('[+] the source path : %s is not exists or not a effective file path' % srcPath)

如上可以看到，字典FileFunc保存了两个函数，一个是复制文件的函数和一个是移动文件的函数。因为两个函数的实现过程是相似的，所以为了简洁代码，代码只需要写一遍就

可以了，然后就通过传入不同的字典值来对函数的控制，进行对文件不同的操作。对于文件复制的函数，使用copy2函数的是因为该函数会将源文件下的一些元数据也会复制到

新的目标文件中。元数据主要有文件的权限、修改时间、访问时间和文件所有者等，但是创建时间是不会复制到新的文件中的，新的文件将使用新的创建时间。如果你想要只是

仅仅将文件内容复制而已，那么就可以使用copyfile函数来复制文件。在这里你还可以使用copy函数来操作，只不过copy2函数对文件的操作相当于copy函数加上stat函数的

总和，所以在本文就使用这个copy2函数进行操作，如果有不同的需求，可以自行实现。在这个函数中首先是先判断文件是否存在于源目录和目标目录，当文件存在于目标目录时，

则将文件进行覆盖、备份或不复制操作，这个在操作的过程中可以自行输入或将 result = raw_input('Do you want to continue cover it?(y/n/i):') 的值变为固定的值，比如：

改为result='n'，这样就是当目标目录中存在相同文件名的文件时，会自动将其保存为文件副本，以免原有的文件的数据丢失。这样更符合批量处理，因为在处理大量的文件中，

如果还要人工去操作，这无疑是不允许的，因为这样的情况下操作是会使人容易操作出错的，所以还是将其改为自己想要的效果就可以了。

然后就是目录下的文件以及子目录的移动和复制，至于文件的删除和目录的删除在后面再一一细说。详细代码如下：

DirectoryFunc = {'copytree':shutil.copytree,
                 'move':shutil.move}
def OperationDirectoryFunc(srcPath,dstPath,DirectoryFunc):
    # 初始化线程
    t = threading.Thread(target=DirectoryFunc,args=(srcPath,dstPath))
    # srcPath 必须存在而且是一个目录
    if os.path.exists(srcPath) and os.path.isdir(srcPath):
        if not os.path.exists(dstPath):
            # 因为dstPath必须要不存在，所以应该判断其是否存在
            t.start()
        else:
            print('the destination : %s is exists,but it must not exists.' % dstPath)
            print('please uses another directory')
    else:
        print('[+] the source path : %s is not exists or not a effective directory' % srcPath)
    # 等待所有的线程都完成才退出
    if t.isAlive():
        t.join()

这个函数的操作和上面的文件函数基本一样，就不一一细说了，主要是用到的函数不一样。因为我觉得目录存在的文件比较多，所以加进了多线程来处理目录下的文件及目录。

这个函数需要注意的是：copytree函数的两个传进参数都必须是目录，不能是文件，如果是文件，则会抛出相应的异常，你也可以通过捕获异常的处理方式来判断传入的是否为

目录，然后进行目录和文件的不同操作。为了保证线程完全执行成功，t.join()是等待线程结束后才结束整个程序，而这个t.isAlive()判断该线程是否是运行状态，因为只有线程

运行才可以执行t.join()，不然会出错。因为当输入的路径不是目录时，就会导致线程不会执行了，所以这个判断语句是一定要使用的。而且这个t.join()语句不能放在t.start()

后面，这样就会导致程序停在这里，使在t.join()语句下的其他语句不能执行，直到线程执行完才可以执行下一个语句。

那么下面就是删除文件和删除目录下的所有文件和目录的操作，具体代码如下：

# 删除文件  os.remove()
def deleteFile(srcPath):
    if os.path.exists(srcPath) and os.path.isfile(srcPath):
        os.remove(srcPath)
    else:
        print('the file : %s is not exists or not a effective file path' % srcPath)


# 删除整个目录下的文件和目录  shutil.rmtree()
def deleteDirectory(srcPath):if os.path.exists(srcPath) and os.path.isdir(srcPath):
        shutil.rmtree(srcPath)
    else:
        print('[+] the source path : %s is not exists or not a effective directory' % srcPath)

在这里就是使用了shutil模块下的rmtree函数进行删除目录和os模块下的remove函数来删除文件。因为这两个函数执行的流程都是类似的，所以你也可以使用上述的字典方式

来调用函数。这rmtree()和remove()对输入的参数都是有要求的，所以在接收参数前要进行判断是否符合，以免函数执行出错导致程序停止工作。

最后就是调用上述的功能函数来对文件或目录进行操作，具体的代码如下：

# 复制文件
def copyFile(srcPath,dstPath):
    OperationFileFunc(srcPath,dstPath,FileFunc['copyFile'])

# 移动文件
def moveFile(srcPath,dstPath):
    OperationFileFunc(srcPath,dstPath,FileFunc['moveFile'])

# 复制整个目录下的文件的和目录
def copyDirectory(srcPath,dstPath,DirectoryFunc=DirectoryFunc['copytree']):
    OperationDirectoryFunc(srcPath,dstPath,DirectoryFunc)

# 移动整个目录下的文件和目录
def moveDirectory(srcPath,dstPath,DirectoryFunc=DirectoryFunc['move']):
    OperationDirectoryFunc(srcPath,dstPath,DirectoryFunc)

在这些调用函数中并没有过多的操作，只是简单的对相应的操作函数进行调用，但是如果你有想到其他的操作也可以将该函数修改，增加一些有条件限制的进行复制或移动等其他

想要的操作，比如：只对相应大小的文件进行复制等操作，或者只对相应时间段的文件进行操作等等。虽然我的原意是从文件中读取相应的文件或目录路径进行操作，但是你也可

以将其嵌入在前两篇的文件查询代码中，进行一连贯的文件操作流程，达到自动化管理文件的目的。但是这些代码是有缺陷的或者是不完整的，在程序中没有使用多线程来进行操

作，所以容易遇到速度上的瓶颈，在操作的数量大时，就会导致花费的时间过久。在这里就不再给出其调用函数的测试代码了，这些都是简单的打开文件进行遍历的结果，然后就

是对每个路径进行遍历，并进行一一操作。在这里奉劝大家一句，数据是宝贵的，所以在这类测试前，先将数据进行备份，以免造成不可收拾的后果。