我正在尝试从子流程中返回值,但是不幸的是这些值无法拾取。因此,我在线程模块中成功使用了全局变量,但在使用多处理模块时却无法检索在子流程中完成的更新。我希望我想念一些东西。
在给定var dataDV03和的情况下,最后打印的结果始终与初始值相同dataDV04。子进程正在更新这些全局变量,但是这些全局变量在父级中保持不变。
var dataDV03
dataDV04
import multiprocessing # NOT ABLE to get python to return values in passed variables. ants = ['DV03', 'DV04'] dataDV03 = ['', ''] dataDV04 = {'driver': '', 'status': ''} def getDV03CclDrivers(lib): # call global variable global dataDV03 dataDV03[1] = 1 dataDV03[0] = 0 # eval( 'CCL.' + lib + '.' + lib + '( "DV03" )' ) these are unpicklable instantiations def getDV04CclDrivers(lib, dataDV04): # pass global variable dataDV04['driver'] = 0 # eval( 'CCL.' + lib + '.' + lib + '( "DV04" )' ) if __name__ == "__main__": jobs = [] if 'DV03' in ants: j = multiprocessing.Process(target=getDV03CclDrivers, args=('LORR',)) jobs.append(j) if 'DV04' in ants: j = multiprocessing.Process(target=getDV04CclDrivers, args=('LORR', dataDV04)) jobs.append(j) for j in jobs: j.start() for j in jobs: j.join() print 'Results:\n' print 'DV03', dataDV03 print 'DV04', dataDV04
我无法发布我的问题,因此将尝试编辑原始内容。
这是不可腌制的对象:
In [1]: from CCL import LORR In [2]: lorr=LORR.LORR('DV20', None) In [3]: lorr Out[3]: <CCL.LORR.LORR instance at 0x94b188c>
这是我使用multiprocessing.Pool将实例返回给父对象时返回的错误:
Thread getCcl (('DV20', 'LORR'),) Process PoolWorker-1: Traceback (most recent call last): File "/alma/ACS-10.1/casa/lib/python2.6/multiprocessing/process.py", line 232, in _bootstrap self.run() File "/alma/ACS-10.1/casa/lib/python2.6/multiprocessing/process.py", line 88, in run self._target(*self._args, **self._kwargs) File "/alma/ACS-10.1/casa/lib/python2.6/multiprocessing/pool.py", line 71, in worker put((job, i, result)) File "/alma/ACS-10.1/casa/lib/python2.6/multiprocessing/queues.py", line 366, in put return send(obj) UnpickleableError: Cannot pickle <type 'thread.lock'> objects
In [5]: dir(lorr) Out[5]: ['GET_AMBIENT_TEMPERATURE', 'GET_CAN_ERROR', 'GET_CAN_ERROR_COUNT', 'GET_CHANNEL_NUMBER', 'GET_COUNT_PER_C_OP', 'GET_COUNT_REMAINING_OP', 'GET_DCM_LOCKED', 'GET_EFC_125_MHZ', 'GET_EFC_COMB_LINE_PLL', 'GET_ERROR_CODE_LAST_CAN_ERROR', 'GET_INTERNAL_SLAVE_ERROR_CODE', 'GET_MAGNITUDE_CELSIUS_OP', 'GET_MAJOR_REV_LEVEL', 'GET_MINOR_REV_LEVEL', 'GET_MODULE_CODES_CDAY', 'GET_MODULE_CODES_CMONTH', 'GET_MODULE_CODES_DIG1', 'GET_MODULE_CODES_DIG2', 'GET_MODULE_CODES_DIG4', 'GET_MODULE_CODES_DIG6', 'GET_MODULE_CODES_SERIAL', 'GET_MODULE_CODES_VERSION_MAJOR', 'GET_MODULE_CODES_VERSION_MINOR', 'GET_MODULE_CODES_YEAR', 'GET_NODE_ADDRESS', 'GET_OPTICAL_POWER_OFF', 'GET_OUTPUT_125MHZ_LOCKED', 'GET_OUTPUT_2GHZ_LOCKED', 'GET_PATCH_LEVEL', 'GET_POWER_SUPPLY_12V_NOT_OK', 'GET_POWER_SUPPLY_15V_NOT_OK', 'GET_PROTOCOL_MAJOR_REV_LEVEL', 'GET_PROTOCOL_MINOR_REV_LEVEL', 'GET_PROTOCOL_PATCH_LEVEL', 'GET_PROTOCOL_REV_LEVEL', 'GET_PWR_125_MHZ', 'GET_PWR_25_MHZ', 'GET_PWR_2_GHZ', 'GET_READ_MODULE_CODES', 'GET_RX_OPT_PWR', 'GET_SERIAL_NUMBER', 'GET_SIGN_OP', 'GET_STATUS', 'GET_SW_REV_LEVEL', 'GET_TE_LENGTH', 'GET_TE_LONG_FLAG_SET', 'GET_TE_OFFSET_COUNTER', 'GET_TE_SHORT_FLAG_SET', 'GET_TRANS_NUM', 'GET_VDC_12', 'GET_VDC_15', 'GET_VDC_7', 'GET_VDC_MINUS_7', 'SET_CLEAR_FLAGS', 'SET_FPGA_LOGIC_RESET', 'SET_RESET_AMBSI', 'SET_RESET_DEVICE', 'SET_RESYNC_TE', 'STATUS', '_HardwareDevice__componentName', '_HardwareDevice__hw', '_HardwareDevice__stickyFlag', '_LORRBase__logger', '__del__', '__doc__', '__init__', '__module__', '_devices', 'clearDeviceCommunicationErrorAlarm', 'getControlList', 'getDeviceCommunicationErrorCounter', 'getErrorMessage', 'getHwState', 'getInternalSlaveCanErrorMsg', 'getLastCanErrorMsg', 'getMonitorList', 'hwConfigure', 'hwDiagnostic', 'hwInitialize', 'hwOperational', 'hwSimulation', 'hwStart', 'hwStop', 'inErrorState', 'isMonitoring', 'isSimulated'] In [6]:
当你multiprocessing用来打开第二个进程时,将创建一个具有自己全局状态的Python 全新实例。该全局状态不会共享,因此子进程对全局变量所做的更改对于父进程将是不可见的。
multiprocessing
此外,提供的大多数抽象都multiprocessing使用pickle来传输数据。使用代理传输的所有数据必须是可腌制的 ; 包括a Manager提供的所有对象。相关报价(我的重点):
pickle
确保代理方法的参数可挑剔。
并且(在本Manager节中):
Manager
其他进程可以使用代理访问共享库。
Queue还需要可腌制的数据;文档没有这么说,但是通过快速测试可以确认:
import multiprocessing import pickle class Thing(object): def __getstate__(self): print 'got pickled' return self.__dict__ def __setstate__(self, state): print 'got unpickled' self.__dict__.update(state) q = multiprocessing.Queue() p = multiprocessing.Process(target=q.put, args=(Thing(),)) p.start() print q.get() p.join()
输出:
$ python mp.py got pickled got unpickled <__main__.Thing object at 0x10056b350>
如果你真的不能腌制数据,一种可能对你有用的方法是找到一种将其存储为ctype对象的方法。然后可以将对内存的引用传递给子进程。对我来说这似乎很狡猾。我没做过 但这可能是你可能的解决方案。
在进行了更新之后,你似乎需要进一步了解的内部结构LORR。是LORR上课吗?你可以从中继承吗?它是其他东西的子类吗?它的MRO是多少?(尝试LORR.__mro__将其输出,然后将其发布。)如果它是纯python对象,则可能可以将其子类化,创建一个__setstate__和一个__getstate__以启用酸洗。
LORR.__mro__
__setstate__
__getstate__
另一种方法可能是弄清楚如何从LORR实例中获取相关数据并通过简单的字符串将其传递。既然你说你确实只是想调用对象的方法,为什么不使用Queues来回发送消息呢?换句话说,是这样的(示意上):
Main Process Child 1 Child 2 LORR 1 LORR 2 child1_in_queue -> get message 'foo' call 'foo' method child1_out_queue <- return foo data string child2_in_queue -> get message 'bar' call 'bar' method child2_out_queue <-