multiprocessing.Queue項目的最大尺寸？

Question

我正在開發一個相當大的Python項目，要求將計算密集型後臺任務之一卸載到另一個內核，以便主服務不會變慢。當使用multiprocessing.Queue來傳達工作進程的結果時，我遇到了一些顯然很奇怪的行爲。爲了比較目的，對threading.Thread和multiprocessing.Process使用相同的隊列，該線程工作得很好，但是在將大項放入隊列後進程無法加入。注意：

import threading 
import multiprocessing 

class WorkerThread(threading.Thread): 
    def __init__(self, queue, size): 
     threading.Thread.__init__(self) 
     self.queue = queue 
     self.size = size 

    def run(self): 
     self.queue.put(range(size)) 


class WorkerProcess(multiprocessing.Process): 
    def __init__(self, queue, size): 
     multiprocessing.Process.__init__(self) 
     self.queue = queue 
     self.size = size 

    def run(self): 
     self.queue.put(range(size)) 


if __name__ == "__main__": 
    size = 100000 
    queue = multiprocessing.Queue() 

    worker_t = WorkerThread(queue, size) 
    worker_p = WorkerProcess(queue, size) 

    worker_t.start() 
    worker_t.join() 
    print 'thread results length:', len(queue.get()) 

    worker_p.start() 
    worker_p.join() 
    print 'process results length:', len(queue.get()) 

我已經看到了，這工作正常size = 10000，但worker_p.join()的size = 100000掛起。 multiprocessing.Process實例可以在multiprocessing.Queue中放置一些固有的大小限制嗎？或者我在這裏犯了一些明顯的根本錯誤？

僅供參考，我在Ubuntu 10.04上使用Python 2.6.5。

Answer 1

似乎底層管道已滿，所以進給程序線程在寫入管道時會阻塞（實際上，當試圖獲取保護管道免於併發訪問的鎖定時）。

檢查這個問題http://bugs.python.org/issue8237

Answer 2

答案python multiprocessing: some functions do not return when they are complete (queue material too big)實現你可能是通過「出列」中任意一組的功能，它的返回值獲得排隊的並行執行加入」之前的意思。

這因此，允許任何大小的東西進入隊列，以便您發現的限制不會妨礙。

Answer 3

默認情況下隊列的最大大小是無限的，但你已經覆蓋了這個。在你的情況下， worker_p將項目放入隊列中，隊列應該被釋放電話加入。詳情請參閱下面的鏈接。 https://docs.python.org/2/library/multiprocessing.html#programming-guidelines