python multiprocessing apply_async 多进程异步处理文件
python官方多进程multiprocessing 推荐使用apply_async因为它是异步处理文件,apply则类似于单进程串行运行import osimport jsonimport timeimport sysimport osimport multiprocessingreload(sys)sys.setdefaultencoding('utf-8')d...
·
python官方多进程multiprocessing 推荐使用apply_async
因为它是异步处理文件,apply则类似于单进程串行运行
import os
import json
import time
import sys
import os
import multiprocessing
reload(sys)
sys.setdefaultencoding('utf-8')
def dofile(d, day):
path = '/data3/mileage/'+day+'/'+str(d)+'.txt'
f = open(path)
for i in f:
value = i.split('\t')
#后续可将这些数值写入文件
f.close()
def work():
pool = multiprocessing.Pool(processes =3)
for i in xrange(100):
pool.apply_async(dofile, (i,day))
pool.close()
pool.join()
work()
更多推荐
已为社区贡献4条内容
所有评论(0)