当需要创建的子进程数量不多时,可以直接利用multprocessing中的Process动态生成多个进程。但如果是上百甚至上千的目标,手动的去创建进程的工作量巨大,此时就可以用到multprocessing模块提供的Pool方法。初始化Pool时,可以指定一个最大进程数,当有新的请求提交到Pool中时,如果池还没有满,name就会创建一个新的进程用来执行该请求,但如果池中的进程数已经达到指定的最大值,name该请求就会等待,知道池中有进程结束,才会创建新的进程来执行。
进程池
池子有两种类型:一种是阻塞式,一种是非阻塞式。
阻塞式:添加一个执行一个,执行一个才返回紧接着添加下一个。(没有特别大的意义)
非阻塞式:全部添加到队列中,立刻返回,并没有等待他们执行完毕,当执行完毕之后会有回调中携带它的结果。

程序1

from multiprocessing import Pool
import time
import random
#非阻塞式进程

def task(task_name):
    print('开始做任务了!',task_name)
    start = time.time()
    #使用sleep
    time.sleep(random()*2)
    end = time.time()
    print('完成任务用时:',(end-start))

if __name__ == '__main__':
    pool = Pool(5)
    tasks = ['听音乐','吃饭','洗衣服','打游戏','散步','看孩子','读书','做饭']
    for task in tasks:
        pool.apply_async(task,args = (task,))

    print('over!!!!!!!')
    

结果1

over!!!!!!!

程序2

from multiprocessing import Pool
import time
from random import random
#非阻塞式进程

def task(task_name):
    print('开始做任务了!',task_name)
    start = time.time()
    #使用sleep
    time.sleep(random()*2)
    end = time.time()
    print('完成任务!用时:',(end-start))

if __name__ == '__main__':
    pool = Pool(5)
    tasks = ['听音乐','吃饭','洗衣服','打游戏','散步','看孩子','读书','做饭']
    for task1 in tasks:
        pool.apply_async(task,args = (task1,))

    pool.close()    #添加任务结束
    pool.join()     

    print('over!!!!!!!')

结果2

开始做任务了! 听音乐
开始做任务了! 吃饭
开始做任务了! 洗衣服
开始做任务了! 打游戏
开始做任务了! 散步
完成任务!用时: 0.5458700656890869
开始做任务了! 看孩子
完成任务!用时: 1.1073369979858398
开始做任务了! 读书
完成任务!用时: 0.3390927314758301
开始做任务了! 做饭
完成任务!用时: 1.6459546089172363
完成任务!用时: 1.871612310409546
完成任务!用时: 1.9256365299224854
完成任务!用时: 0.5086400508880615
完成任务!用时: 1.9110634326934814
over!!!!!!!

程序3

from multiprocessing import Pool
import time
from random import random
import os
#非阻塞式进程

def task(task_name):
    print('开始做任务了!',task_name)
    start = time.time()
    #使用sleep
    time.sleep(random()*2)
    end = time.time()
    print('完成任务!用时:',(end-start),'进程ID:',os.getpid())       #获得进程ID

if __name__ == '__main__':
    pool = Pool(5)
    tasks = ['听音乐','吃饭','洗衣服','打游戏','散步','看孩子','读书','做饭']
    for task1 in tasks:
        pool.apply_async(task,args = (task1,))

    pool.close()    #添加任务结束
    pool.join()     #

    print('over!!!!!!!')

结果3

开始做任务了! 听音乐
开始做任务了! 吃饭
开始做任务了! 洗衣服
开始做任务了! 打游戏
开始做任务了! 散步
完成任务!用时: 0.18909358978271484 进程ID: 10544
开始做任务了! 看孩子
完成任务!用时: 0.4931068420410156 进程ID: 7024
开始做任务了! 读书
完成任务!用时: 0.6347644329071045 进程ID: 5472
开始做任务了! 做饭
完成任务!用时: 0.5653088092803955 进程ID: 10544
完成任务!用时: 0.20141983032226562 进程ID: 5472
完成任务!用时: 1.348006010055542 进程ID: 6612
完成任务!用时: 1.0501861572265625 进程ID: 7024
完成任务!用时: 1.6761057376861572 进程ID: 18536
over!!!!!!!

程序4

from multiprocessing import Pool
import time
from random import random
import os
#非阻塞式进程

def task(task_name):
    print('开始做任务了!',task_name)
    start = time.time()
    #使用sleep
    time.sleep(random()*2)
    end = time.time()
    print('完成任务:{}!用时:{},进程ID:{}'.format(task_name,(end - start),os.getpid()))

if __name__ == '__main__':
    pool = Pool(5)
    tasks = ['听音乐','吃饭','洗衣服','打游戏','散步','看孩子','读书','做饭']
    for task1 in tasks:
        pool.apply_async(task,args = (task1,))

    pool.close()    #添加任务结束
    pool.join()     #

    print('over!!!!!!!')

结果4

开始做任务了! 听音乐
开始做任务了! 吃饭
开始做任务了! 洗衣服
开始做任务了! 打游戏
开始做任务了! 散步
完成任务:打游戏!用时:0.39394688606262207,进程ID:6652
开始做任务了! 看孩子
完成任务:散步!用时:0.8889727592468262,进程ID:22576
开始做任务了! 读书
完成任务:听音乐!用时:1.1549112796783447,进程ID:19264
开始做任务了! 做饭
完成任务:洗衣服!用时:1.7190024852752686,进程ID:1332
完成任务:读书!用时:0.7781314849853516,进程ID:22576
完成任务:吃饭!用时:1.89725661277771,进程ID:9196
完成任务:看孩子!用时:1.9234998226165771,进程ID:6652
完成任务:做饭!用时:1.804778814315796,进程ID:19264
over!!!!!!!

进程分析

Logo

华为开发者空间,是为全球开发者打造的专属开发空间,汇聚了华为优质开发资源及工具,致力于让每一位开发者拥有一台云主机,基于华为根生态开发、创新。

更多推荐