python官方多进程multiprocessing 推荐使用apply_async 

因为它是异步处理文件,apply则类似于单进程串行运行

import os
import json
import time
import sys
import os
import multiprocessing

reload(sys)
sys.setdefaultencoding('utf-8')

def dofile(d, day):
    path = '/data3/mileage/'+day+'/'+str(d)+'.txt'
    f = open(path)
    for i in f:
        value = i.split('\t')      
        #后续可将这些数值写入文件
    f.close()
 

def work():
    pool = multiprocessing.Pool(processes =3)
    for i in xrange(100):

         pool.apply_async(dofile, (i,day))
    pool.close()
    pool.join()

work()

 

Logo

华为开发者空间,是为全球开发者打造的专属开发空间,汇聚了华为优质开发资源及工具,致力于让每一位开发者拥有一台云主机,基于华为根生态开发、创新。

更多推荐