Python共享進程之間的鎖

Question

我正在嘗試使用部分函數，​​以便pool.map（）可以針對具有多個參數（在本例中爲Lock（）對象）的函數。

下面是示例代碼（從答案帶到我的前面的問題）：

from functools import partial 

def target(lock, iterable_item): 
    for item in items: 
     # Do cool stuff 
     if (... some condition here ...): 
      lock.acquire() 
      # Write to stdout or logfile, etc. 
      lock.release() 

def main(): 
    iterable = [1, 2, 3, 4, 5] 
    pool = multiprocessing.Pool() 
    l = multiprocessing.Lock() 
    func = partial(target, l) 
    pool.map(func, iterable) 
    pool.close() 
    pool.join() 

然而，當我運行此代碼，我得到的錯誤：

Runtime Error: Lock objects should only be shared between processes through inheritance. 

我是什麼在這裏失蹤？我怎樣才能分享我的子流程之間的鎖？

Answer 1

對不起，我應該在回答您的其他問題時發現了這個問題。您無法將正常的multiprocessing.Lock對象傳遞給Pool方法，因爲它們不能被酸洗。有兩種方法可以解決這個問題。一種方法是建立Manager()並傳遞Manager.Lock()：

def main(): 
    iterable = [1, 2, 3, 4, 5] 
    pool = multiprocessing.Pool() 
    m = multiprocessing.Manager() 
    l = m.Lock() 
    func = partial(target, l) 
    pool.map(func, iterable) 
    pool.close() 
    pool.join() 

這是一個有點重量級的，雖然，使用Manager需要產生另一個進程來承載Manager服務器。並且所有對acquire/release的呼叫都必須通過IPC發送到該服務器。

另一種選擇是在池創建時使用initializer kwarg傳遞常規multiprocessing.Lock()。這會讓你的鎖實例中的所有童工全球：

def target(iterable_item): 
    for item in items: 
     # Do cool stuff 
     if (... some condition here ...): 
      lock.acquire() 
      # Write to stdout or logfile, etc. 
      lock.release() 
def init(l): 
    global lock 
    lock = l 

def main(): 
    iterable = [1, 2, 3, 4, 5] 
    l = multiprocessing.Lock() 
    pool = multiprocessing.Pool(initializer=init, initargs=(l,)) 
    pool.map(target, iterable) 
    pool.close() 
    pool.join() 

第二個解決方案具有不再需要partial副作用。