Python并行计算pp模块实践笔记

最近已集群模式适用了下Python并行计算的pp模块，例子为官方的计算素数的和，特记录如下：

环境如下（三节点，每个节点先pip install pp安装pp模块）：

 node-1 任务发起方

 node-4，node-6  任务执行方，ppserver，运行ppserver.py

1、node-4和node-6 运行ppserver.py的脚本，以自动发现模式运行，通过debug输出，可以发现自动发现是通过广播机制实现的

2、node-1上面运行计算素数脚本，脚本中ppservers写为(“*”,)

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Software: PyCharm

import pp
import math,sys,time

def IsPrime(n):
    if not isinstance(n,int):
        raise TypeError("must be a int")
    if n<2:
        return False
    if n==2:
        return True
    max= int(math.ceil(math.sqrt(n)))
    i=2
    while i<=max:
        if n%i==0:
            return False
        i+=1
    return True

def sum_primes(n):
    return sum([x for x in xrange(2,n) if IsPrime(x)])

def usage():
    print '''
    Usage: python sum_primes.py [ncpus]
    [ncpus] - the number of workers to run in parallel,
    if omitted it will be set to the number of processors in the system
    '''

ppservers=("*",)                #自动发现ppserver

if len(sys.argv)>1:
    num=sys.argv[1]
    job_server=pp.Server(ncpus=int(num),ppservers=ppservers)
else:
    job_server=pp.Server(ppservers=ppservers)

print "start pp with",job_server.get_ncpus(),"workers"

# job1=job_server.submit(func=sum_primes,args=(300,),depfuncs=(IsPrime,),modules=("math",))

start_time = time.time()

inputs = (10000000, 10010000, 10020000, 10030000, 10040000, 10050000, 10060000, 10070000,10060001,10080002)
jobs = [(input, job_server.submit(sum_primes,(input,), (IsPrime,), ("math",))) for input in inputs]
for input, job in jobs:
    print "Sum of primes below", input, "is", job()

print "Time elapsed: ", time.time() - start_time, "s"
job_server.print_stats()

脚本运行后，通过node-4和node-6的日志输出，可以发现已经开始接收执行任务

通过top命令可以发现计算任务开始执行(ppworker)，cpu负载达到100%

3 node-1上面的命令执行结果，我们发现10个素数的计算任务，node-6分配了8个(IP为172.16.20.6)，node-4分配了2个(IP为17216.20.4)---(参照官方文档，ncpus指定为0，node-1本身不参与实际的计算)

参考：

http://www.parallelpython.com/  官方网站