multiprocessing.Queue作爲參數池的工人中止工作人員的執行

Question

我實際上很難相信我遇到了問題，我有，它似乎是一個在Python多處理模塊中的大錯誤。無論如何，我遇到的問題是，只要我將multiprocessing.Queue傳遞給multiprocessing.Pool worker作爲參數，池工作人員就不會執行其代碼。即使是在python docs中找到的示例代碼的稍微修改版本的非常簡單的測試中，我也能夠重現此錯誤。

下面是示例代碼隊列的原始版本：

from multiprocessing import Process, Queue 

def f(q): 
    q.put([42, None, 'hello']) 


if __name__ == '__main__': 
    q = Queue() 
    p = Process(target=f, args=(q,)) 
    p.start() 
    print(q.get()) # prints "[42, None, 'hello']" 
    p.join() 

這裏是我的隊列的示例代碼修改後的版本：

from multiprocessing import Queue, Pool 

def f(q): 
    q.put([42, None, 'hello']) 

if __name__ == '__main__': 
    q = Queue() 
    p = Pool(1) 
    p.apply_async(f,args=(q,)) 
    print(q.get()) # prints "[42, None, 'hello']" 
    p.close() 
    p.join() 

所有我做的是使PA大小爲1的進程池，而不是多進程。進程對象，結果是代碼永遠掛在打印語句上，因爲沒有任何內容寫入隊列！當然，我測試它的原始形式，它工作正常。我的操作系統是Windows 10，我的Python版本是3.5.x，任何人都有任何想法，爲什麼發生這種情況？

更新：仍然不知道爲什麼這個示例代碼與multiprocessing.process，而不是一個multiprocessing.Pool，但我發現work around我滿足（亞歷克斯Martelli的答案）。顯然你可以創建一個多處理的全局列表。並且要傳遞每個進程和索引來使用，我將避免使用一個受管隊列，因爲它們比較慢。感謝Guest向我展示鏈接。

Answer 1

問題

當你調用apply_async它返回一個AsyncResult對象和葉工作量分配到一個單獨的線程（見this answer）。此線程遇到Queue對象不能爲pickled的問題，因此所請求的工作不能分發（並最終執行）。我們可以通過調用AsyncResult.get看到這一點：

r = p.apply_async(f,args=(q,)) 
r.get() 

這引起了RuntimeError：

RuntimeError: Queue objects should only be shared between processes through inheritance 

然而，這RuntimeError是在主線程中只是提出一旦申請結果，因爲它實際上是發生在不同的線程（並因此需要傳輸的方式）。

當你做

p.apply_async(f,args=(q,)) 

是目標函數f永遠不會被調用，因爲它的一個參數（q）不能醃製會發生什麼。因此q永遠不會收到一個項目並保持爲空，因此在主線程中調用q.get將永遠阻止。

解決方案

隨着apply_async您不必手動管理的結果隊列，但他們很容易在AsyncResult對象的形式提供給您。所以，你可以修改代碼來簡單地從目標函數返回：

from multiprocessing import Queue, Pool 

def f(): 
    return [42, None, 'hello'] 

if __name__ == '__main__': 
    q = Queue() 
    p = Pool(1) 
    result = p.apply_async(f) 
    print(result.get())