如何解决Python因多重处理而意外退出
我有一个利用pandas数据框并将函数应用于每一行的脚本。为了加快速度,我引入了多处理功能,并且它在很多时候都运行良好,但是有时它会完全崩溃,并且Python会意外退出。当我尝试处理大批1k +行时,这种情况似乎最经常发生。如果使用Mac,可以使用Mac。我的多处理功能中是否缺少某些东西或需要更改?
此外,发生这种情况时,脚本不会出错。除非我强迫退出Python,否则它基本上会无限运行。
import numpy as np
import pandas as pd
from multiprocessing import Pool
def parallelize_dataframe(df,func,n_cores=8):
df_split = np.array_split(df,n_cores)
pool = Pool(n_cores)
df = pd.concat(pool.map(func,df_split))
pool.close()
pool.join()
return df
df = pd.DataFrame([[1,2],[1,3],[4,6]],columns=['A','B'])
df = parallelize_dataframe(df,my_functions)
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。