【Python】多进程处理多个数据文件

 

【问题描述】

有多个数据文件，采用相同的处理函数进行处理。如果采用串行的思想对文件进行处理，那就需要分别处理每一个文件，所需要的时间非常长。

所以，需要采用多进程的方法，对多个数据文件采用并行的方式进行处理，处理时间缩短明显。

【实现方法】

主函数：

import multiprocessing

　　……

    pool=multiprocessing.Pool(processes=32)
    print('开始多进程处理过程！')
    for A1PRE_file in A1PRE_filename_list:
        pool.apply_async(func=AIS_demod_main, args=(A1PRE_file,satelliteID,processID,outPath,logger,))
        print(A1PRE_file)

    pool.close()
    pool.join()

主要思想就是采用并行处理函数

pool.apply_async

对多个文件进行处理。

【其他问题】

python3.7.4版本中，采用上述代码可以实现多进程处理。但是python3.6中apply_async函数无法正常执行，程序不报错，运行到该函数后直接跳过。

所以，采用该函数需要注意python的版本。