2012-05-29 131 views
8

在其後期和-IM-可能笨部門介紹:是multiprocessing.Manager().dict().setdefault()是否被破壞?

>>> import multiprocessing 
>>> mgr = multiprocessing.Manager() 
>>> d = mgr.dict() 
>>> d.setdefault('foo', []).append({'bar': 'baz'}) 
>>> print d.items() 
[('foo', [])]   <-- Where did the dict go? 

鑑於:

>>> e = mgr.dict() 
>>> e['foo'] = [{'bar': 'baz'}] 
>>> print e.items() 
[('foo', [{'bar': 'baz'}])] 

版本:

>>> sys.version 
'2.7.2+ (default, Jan 20 2012, 23:05:38) \n[GCC 4.6.2]' 

錯誤或WUG?

編輯:更多相同的,Python的3.2:

>>> sys.version 
'3.2.2rc1 (default, Aug 14 2011, 21:09:07) \n[GCC 4.6.1]' 

>>> e['foo'] = [{'bar': 'baz'}] 
>>> print(e.items()) 
[('foo', [{'bar': 'baz'}])] 

>>> id(type(e['foo'])) 
137341152 
>>> id(type([])) 
137341152 

>>> e['foo'].append({'asdf': 'fdsa'}) 
>>> print(e.items()) 
[('foo', [{'bar': 'baz'}])] 

如何能在字典代理列表中未包含其他元素?

回答

8

這是一些非常有趣的行爲,我不完全確定它是如何工作的,但我會採取行動是爲什麼這樣的方式裂縫。

首先,請注意multiprocessing.Manager().dict()不是dict,它是一個DictProxy對象:

>>> d = multiprocessing.Manager().dict() 
>>> d 
<DictProxy object, typeid 'dict' at 0x7fa2bbe8ea50> 

DictProxy類的目的是給你一個dict是安全的跨進程共享,這意味着它必須在正常的dict函數之上實現一些鎖定。

顯然這裏的實現的一部分是不允許你直接訪問嵌套在DictProxy裏面的可變對象,因爲如果允許的話,你將能夠繞過所有的鎖定來修改你的共享對象使得DictProxy安全使用。

下面是一些證據表明,你不能訪問可變對象,這是類似的東西是怎麼回事setdefault()

>>> d['foo'] = [] 
>>> foo = d['foo'] 
>>> id(d['foo']) 
140336914055536 
>>> id(foo) 
140336914056184 

與正常的字典,你會期望d['foo']foo指向同列表對象,修改一個會修改另一個。正如您所看到的那樣,DictProxy類的情況並非如此,因爲多處理模塊要求額外的工藝安全要求。

編輯:multiprocessing documentation以下注釋澄清什麼,我想說的上面:


注:的修改可變值或項字典和列表代理不會通過經理傳播,因爲代理無法知道其值或項目何時被修改。要修改這樣一個項目,你可以修改的對象重新分配到容器代理:

# create a list proxy and append a mutable object (a dictionary) 
lproxy = manager.list() 
lproxy.append({}) 
# now mutate the dictionary 
d = lproxy[0] 
d['a'] = 1 
d['b'] = 2 
# at this point, the changes to d are not yet synced, but by 
# reassigning the dictionary, the proxy is notified of the change 
lproxy[0] = d 

基於以上信息,這裏是你如何可以重寫你的原代碼與合作DictProxy

# d.setdefault('foo', []).append({'bar': 'baz'}) 
d['foo'] = d.get('foo', []) + [{'bar': 'baz'}] 

作爲愛德華洛珀建議在評論,上述代碼編輯使用get()代替setdefault()

+4

+1。但我認爲將原始代碼重寫爲使用'get'而不是'setdefault'會更清楚,因爲'setdefault'的正常特殊行爲在這裏不適用。 I.e .:'d ['foo'] = d.get('foo',[])+ [{'bar':'baz'}]' –

+0

謝謝你的廣泛回答。我認爲,由於字典代理包裝它的名單,我認爲它可以運行它。顯然不是這樣。 @愛德華:這是聲音建議。 – Bittrance

0

items()返回一個副本。附加到副本不會影響原件。 你的意思是? 。

>>> d['foo'] =({'bar': 'baz'}) 
>>> print d.items() 
[('foo', {'bar': 'baz'})] 
2

的管理器()字典()是一個DictProxy對象:

>>> mgr.dict() 
<DictProxy object, typeid 'dict' at 0x1007bab50> 
>>> type(mgr.dict()) 
<class 'multiprocessing.managers.DictProxy'> 

DictProxy是BaseProxy類型,這並不完全像一個普通字典的一個子類:http://docs.python.org/library/multiprocessing.html?highlight=multiprocessing#multiprocessing.managers.BaseProxy

所以,看起來你必須以不同於基本字典的方式來解決mgr.dict()。

相關問題