多線程性能問題

Question

可能重複： Multithreading performance overhead

我有一段代碼，運行速度較慢的多線程和速度，同時使用一個線程。

輸出從一個線程：使用多線程

Thread 0 finished in 60.4911733611 
Thread 1 finished in 62.5297083217 
Thread 2 finished in 65.5614617838 
Thread 3 finished in 66.8199233683 
Thread 4 finished in 66.8426577103 

Total running time is 66 second. 

什麼是在各個工序中正在做是採取100行文字，分成

Batch 0 finished in 0.0970576110595 
Batch 1 finished in 0.712632355587 
Batch 2 finished in 2.16707853982 
Batch 3 finished in 5.13259954359 
Batch 4 finished in 9.54205263734 

Total running time is approx 17second 

輸出令牌，移除停用詞並使用某種算法從中生成一些模式，有沒有人有任何經驗或方法來幫助我確定哪裏出了問題？

Answer 1

@ Mac的答案很可能涵蓋了爲什麼，但我們需要一些代碼來給任何更多的幫助。你可能想嘗試的東西，它使用multiprocessing而不是線程，但那麼你有數據訪問問題...

在python中的線程只有在非阻塞IO上的任何好處，如you only have one active thread per python process。

Multiprocessing是利用額外的核心是有用的，但你開始擔心鎖和比賽條件和其他一切。