如何解决Python多重处理-在父类和衍生类之间共享的多重处理数组中处理数据的问题
我想实现一种在父函数和将要产生的类实例之间共享信息表的方法。根据我的读物,我需要使用给定长度的ctypes.c_char_p
表。
我设法通过父函数初始化该表,然后将其传递给被调用的类。从类的__init__()
中,我可以访问其内容。最后,我尝试操作它们(在此示例中为反向名称),然后从类中确认已按预期填充了共享数组,但是当我尝试从父进程查看内容时,我得到了垃圾。 / p>
我的代码和输出如下:
代码:
#!/usr/bin/env python3
import multiprocessing
import ctypes
import random
import json
class employee(multiprocessing.Process):
def __init__(self,employee_data,shared_array_fields):
self.employee_data = employee_data
self.shared_array_fields = shared_array_fields
# self.lock = lock
print("**" * 100)
print("IN class:\n",employee_data[:])
self.run()
def run(self):
for ii in range(self.shared_array_fields):
employee_string = self.employee_data[ii].decode("utf-8")
new_name_json = json.loads(employee_string)
new_name = new_name_json["name"][::-1]
self.employee_data[ii] = bytes('{ "name": "' + str(new_name) + '" }',"utf-8")
print("**" * 100)
print("IN class AFTER manipulation:\n",self.employee_data[:])
shared_array_fields = 5
def main():
global shared_array_fields
lock = multiprocessing.Lock()
employee_data = multiprocessing.Array(ctypes.c_char_p,shared_array_fields)
for ii in range(shared_array_fields):
name = ''.join(random.choice(['a','b','c','d','e']) for i in range(10)) + "_" + str(ii)
employee_data[ii] = bytes('{ "name": "' + str(name) + '" }',"utf-8")
print("**" * 100)
print("BEFORE class:\n",employee_data[:])
proc1 = multiprocessing.Process(target=employee,args=(employee_data,shared_array_fields))
proc1.start()
proc1.join()
# time.sleep(1)
print("**" * 100)
print("AFTER class:\n",employee_data[:])
if __name__ == "__main__":
main()
结果:
[http_offline@greenhat-32 tmp]$ ./temp.py
********************************************************************************************************************************************************************************************************
BEFORE class:
[b'{ "name": "abbbabeadc_0" }',b'{ "name": "daeebeeabc_1" }',b'{ "name": "dbbceedece_2" }',b'{ "name": "caccdcbeae_3" }',b'{ "name": "ccdcbdabdb_4" }']
********************************************************************************************************************************************************************************************************
IN class:
[b'{ "name": "abbbabeadc_0" }',b'{ "name": "ccdcbdabdb_4" }']
********************************************************************************************************************************************************************************************************
IN class AFTER manipulation:
[b'{ "name": "0_cdaebabbba" }',b'{ "name": "1_cbaeebeead" }',b'{ "name": "2_ecedeecbbd" }',b'{ "name": "3_eaebcdccac" }',b'{ "name": "4_bdbadbcdcc" }']
********************************************************************************************************************************************************************************************************
AFTER class:
[b'',b'',b'{ "name": "daeebeeabc_1" }']
[http_offline@greenhat-32 tmp]$
感谢您的帮助。
解决方法
使用数组非常麻烦,因为很难为它重写一个全新的值。另外,为什么要经历从字典转换为字符串然后又返回到仅使用Array的必要性?最后,除非希望自己管理同步,否则,您希望在进程之间共享的任何结构都应通过调用“ multiprocessing.Manager()
创建的“管理器”实例来创建。
完成目标的最简单方法是让管理器创建两个Queue对象,一个输入队列(用于流程的输入)和一个保存结果的输出队列。在这种特殊情况下,您可以为两个对象使用相同的队列对象,但这比较干净,通常是当多个输入和输出同时由进程池处理并且未使用标准库模块,例如multiprocessing.pool
或concurrent.futures
。
最后,您对Process
子类的构造需要一些调整(您的构造函数需要调用基类构造函数,而不应该调用run
)。用大写字母为班级命名也很常见,尽管我没有更改名称。我也认为不继承Process
是更常见的做法。通常,只需编写一个函数,然后传递给对Process
target
,args
和/或kwargs
参数的调用。
更新为使用托管字典
#!/usr/bin/env python3
import multiprocessing
import random
class employee(multiprocessing.Process):
def __init__(self,employees):
super().__init__() # init the base class !!!
self.employees = employees
print("**" * 100)
print("IN class:\n",self.employees[:])
def run(self):
employees = self.employees
for i,employee in enumerate(employees):
new_name = employee["name"][::-1]
employee["name"] = new_name
employees[i] = employee # must be rewritten to show it has changed. Yuck!
#self.employees = employees
print("**" * 100)
print("IN class AFTER manipulation:\n",employees[:])
def main():
manager = multiprocessing.Manager()
employees = manager.list()
for ii in range(5):
name = ''.join(random.choice(['a','b','c','d','e']) for i in range(10)) + "_" + str(ii)
employees.append({"name": name})
print("**" * 100)
print("BEFORE class:\n",employees[:])
proc1 = employee(employees)
proc1.start()
proc1.join()
# time.sleep(1)
print("**" * 100)
print("AFTER class:\n",employees[:])
if __name__ == "__main__":
main()
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。