ThreadPool與Python之間的Python多處理模塊

Question

有什麼區別ThreadPool和Pool 模塊之間的區別是什麼。當我嘗試我的代碼了，這是我看到的主要區別：

from multiprocessing import Pool 
import os, time 

print("hi outside of main()") 

def hello(x): 
    print("inside hello()") 
    print("Proccess id: ", os.getpid()) 
    time.sleep(3) 
    return x*x 

if __name__ == "__main__": 
    p = Pool(5) 
    pool_output = p.map(hello, range(3)) 

    print(pool_output) 

我看到下面的輸出：

hi outside of main() 
hi outside of main() 
hi outside of main() 
hi outside of main() 
hi outside of main() 
hi outside of main() 
inside hello() 
Proccess id: 13268 
inside hello() 
Proccess id: 11104 
inside hello() 
Proccess id: 13064 
[0, 1, 4] 

隨着 「線程池」：

from multiprocessing.pool import ThreadPool 
import os, time 

print("hi outside of main()") 

def hello(x): 
    print("inside hello()") 
    print("Proccess id: ", os.getpid()) 
    time.sleep(3) 
    return x*x 

if __name__ == "__main__": 
    p = ThreadPool(5) 
    pool_output = p.map(hello, range(3)) 

    print(pool_output) 

我看到了以下的輸出：

hi outside of main() 
inside hello() 
inside hello() 
Proccess id: 15204 
Proccess id: 15204 
inside hello() 
Proccess id: 15204 
[0, 1, 4] 

我的疑問句系統蒸發散：

• 爲什麼「外__main __（）」運行在Pool每一次？

• multiprocessing.pool.ThreadPool不產生新的進程？它只是創建新的線程？

• 如果是這樣，使用multiprocessing.pool.ThreadPool而不僅僅是threading模塊之間的區別是什麼？

我沒有看到任何正式的文檔，隨時隨地ThreadPool，有人可以幫助我在哪裏可以找到它？

Answer 1

multiprocessing.pool.ThreadPool的行爲與multiprocessing.Pool的行爲相同，唯一的區別是使用線程而不是進程來運行工作邏輯。

的原因，你看到

hi outside of main() 

被打印多次與multiprocessing.Pool是由於這樣的事實，游泳池將於spawn 5個獨立的進程。每個進程將初始化自己的Python解釋器並加載模塊，導致頂層print被再次執行。

請注意，只有在使用spawn進程創建方法（僅適用於Windows的方法）時纔會發生這種情況。如果你使用的是一個Unix（Unix），你會看到只有一個線程打印的消息。

multiprocessing.pool.ThreadPool沒有記錄，因爲它的實現從未完成。它缺少測試和文檔。你可以在source code看到它的實現。

我相信下一個自然的問題是：何時使用基於線程的池以及何時使用基於進程的池？

經驗法則是：

• IO綁定作業 - >multiprocessing.pool.ThreadPool
• CPU綁定作業 - >multiprocessing.Pool
• 混合作業 - >取決於工作負載，我通常喜歡multiprocessing.Pool因在利益處理隔離帶來

在Python 3裏，你可能想看看concurrent.future.Executor池實現。