python---多线程与多进程

一. 单进程多线程

1. 使用的模块是Threading。使用join（）函数进行阻塞。

from pdf2txt import pdfTotxt1, pdfTotxt2
import xlrd
import os
from nltk.corpus import PlaintextCorpusReader
from nltk.book import FreqDist
import threading

def handleStock(stock_dir, dir, root_txt_path):
    for stock in stock_dir:
        years_dir=os.listdir(dir+stock)
        for y in years_dir:
            type_dir=os.listdir(dir+stock+'/'+y)
            for t in type_dir:
                report_dir=os.listdir(dir+stock+'/'+y+'/'+t)
                for r in report_dir:
                    try:
                        pdfTotxt1(dir+stock+'/'+y+'/'+t+'/'+r, root_txt_path+stock+'_'+y+'_'+t+'_'+r[:-4]+'.txt')
                    except:
                        pdfTotxt2(dir+stock+'/'+y+'/'+t+'/'+r, root_txt_path+stock+'_'+y+'_'+t+'_'+r[:-4]+'.txt')


root_pdf_path='/home/luowang/financial_reports_data/attach/'
root_txt_path='/usr/lw/result/txt_reports/'
Threads=[]
if os.path.exists(root_pdf_path):
    stock_dir=os.listdir(root_pdf_path)
    length=len(stock_dir)
    if length>0:
        for i in range(0,length, 125):
            if i+125 < length:
                dir=stock_dir[i:i+125]
                obj=threading.Thread(target=handleStock, args=[dir, root_pdf_path, root_txt_path])
                Threads.append(obj)
                obj.start()
            else:
                dir=stock_dir[i:length]
                obj=threading.Thread(target=handleStock, args=[dir, root_pdf_path, root_txt_path])
                Threads.append(obj)
                obj.start()

假定主线程中有一些代码，你希望所有下载程序完成后再执行，这时可以调用Thread对象的join（）函数将其阻塞，直到该线程完成。如下面代码所示：

for t in Threads:
    t.join()

print 'all file have been handled !!!'

二. 多进程

1. 使用的模块是subprocess,它常用的函数有Popen(), wait(), poll()

1) wait(): 阻塞自己，等待启动的进程终止。它是Popen对象的方法。

>>> t=subprocess.Popen(['start', 'D:\github.txt'], shell=True)
>>> t.wait()
0

返回值为0，说明程序正常退出了。

2）poll():检查当前进程是否仍在运行，若是返回None, 若正常结束，则返回0，若不正常结束，则返回非0值。它是Popen对象的方法。

>>> t=subprocess.Popen(['start', 'D:\github.txt'], shell=True)
>>> t.poll()
0

3）Popen(): 启动计算机中的其他程序。

>>> subprocess.Popen(['start', 'D:\github.txt'], shell=True)
<subprocess.Popen object at 0x02516210>

这里的‘start’表示使用默认程序打开后面的文件。在Windows上，是start程序；在OS X上是open程序； 在Ubuntu Linux上是see程序。

当然，这里也可以用具体的程序的位置代替，比如下面：

>>> import subprocess
>>> subprocess.Popen('C:\Windoews\System32\notepad.exe', 'D:\github.txt')

未完待续。。。