批处理文件(.bat)并行Arcpy脚本提高效率的思路

Arcpy提供数据处理的方便接口，但一个Arcpy脚本通常只运行于一个核上。现在电脑通常是多核乃至多处理器，如果能将任务分解为可同时进行的若干任务，便可通过并行充分利用电脑性能。

折腾了python并行模块，根据教程尝试多进程处理，但我没有折腾成功。这个是批处理教程链接：http://zhihu.geoscene.cn/article/583。

后来经过实验发现，同时打开多个Arcpy IDLE 进去运行脚本，算是笨拙的实现了多进程处理数据。但每次都要打开IDLE 然后打开脚本文件并运行，也挺烦人，最近找到了编写.bat脚本实现这一步的方法，下面将其进行分享。

以栅格数据掩膜提取为例。总共68个文件须掩膜提取，单独做每个需要1小时左右，因此编写了7个脚本同时进行，脚本数量要根据自己计算机配置决定。

1 Arcpy脚本

1.1 参数准备

借鉴上述批处理教程思路，脚本分为运行参数准备、API运行、循环实现三大部分。首先定义运行参数准备函数，将所有输入输出参数存储到一个嵌套列表中，方便API运行时的调用。

# -*- coding: utf-8 -*-
#Mosaic To New Raster
import arcpy
from arcpy.sa import *
import time
import os
import glob

# 函数用于准备掩膜提取工具运行参数
def pre_parameter(inpath, outpath, mask):
    parameters = []  
    infiles = glob.glob("*.tif")
    
    for infile in infiles: 
        inRaster = infile
        inMaskData = mask
        outRaster = os.path.join(outpath, infile)
        parameter = [inRaster, inMaskData, outRaster]
        parameters.append(parameter)
    return parameters

1.2 API运行

根据定义的运行参数结构，定义API运行函数。

# Arcpy函数掩膜提取
def Extract_by_Mask(Parameter):
    # Set local variables
    inRaster = Parameter[0]
    inMaskData = Parameter[1]
    outRaster = Parameter[2]
    # Execute ExtractByMask
    outExtractByMask = ExtractByMask(inRaster, inMaskData)
    # Save the output 
    outExtractByMask.save(outRaster)
    print(outRaster, 'has finshed')

1.3 循环实现

因为将参数存储到了列表中，所以for循环运行掩膜API时，通过设置start与end参数，只运行一部分参数，编写多个脚本分别运行。便可以同时处理多个文件，提高效率。本例中，若只运行一个脚本需要70多个小时，同时运行7个脚本只需要11个小时左右。

inpath = "your input file's path"
outpath = "your output file's path"
inf = "mask file's path"
start = 0
end = 10

os.chdir(inpath)

# Set the current workspace
arcpy.env.workspace = (inpath)
# Set the snapRaster
arcpy.env.snapRaster = (inf)
# Check out the ArcGIS Spatial Analyst extension license
arcpy.CheckOutExtension("Spatial")

para = pre_parameter(inpath, outpath, inf)

StartTime = time.time()
print('start Mask from %d to %d'%(start, end))

for i in range(start, end): # 这里根据文件数量改动，可以分几部分打开多个shell运行多个脚本提高速度
    time1 = time.time()
    Extract_by_Mask(para[i])
    time2 = time.time()
    print(i, 'has finished! costed ' + str(time2 - time1) + ' Seconds...',)

EndTime = time.time()
print('Elapsed: ' + str(EndTime - StartTime) + ' Seconds...')

2 批处理文件(.bat)

下面是.bat文件编写思路

cd/d C:Python27ArcGIS10.2 

start cmd /k python.exe C:aaadesktopscript_1.py

choice /t 3 /d y

start cmd /k python.exe C:aaadesktopscript_2.py

…………

choice /t 3 /d y

start cmd /k python.exe C:aaadesktopscript_n.py

命令编写参考了博客 https://www.cnblogs.com/fangjb/p/13275210.html

第一句 要设置为你的Arcpy python.exe所在路径

一些解释如下：

代码结尾不加pause的原因是，执行完关闭窗口，因为不需要该窗口保留着，免得手动关闭。

1. start 用来启动一个应用

2. cmd /k 表示cmd后面的命令执行完后不关闭窗口。如果要在执行完成后关闭窗口可以用/c

3. cd /d 表示运行到该目录下

4. 使用choice命令来延时3秒，也可用ping命令作延时，ping 127.0.0.1 -n 5

在命令窗口输入choice/? 以查看更多choice命令的用法.

上面的思路肯定不是最优解决办法，欢迎牛人大佬朋友下方留言交流。