在單核上運行的python 3.x/Windows 7上的多進程map-reduce

Question

我按照這個nice tutorial顯示瞭如何將多個映射實例作爲進程運行。但是，在Python 3.4.3/Windows 7 x64上，隨時可以使用單個內核。

from multiprocessing import Pool 
from itertools import repeat 
import random 
import time 

def Map(L): 
    return len(L) 

def Main(): 
    pool = Pool() 
    lst = [random.sample(range(1, 100), random.randint(1, 50)) for i in repeat(None, 1000000)] 
    start_time = time.time() 
    counts = pool.map(Map, lst) 
    print(time.time() - start_time)  

if __name__ == '__main__': 
    Main() 

在Linux（vmware ubuntu guest機器）中，相同的腳本顯示100％繁忙的處理器。

是否有任何技巧強制Windows以真正的並行性運行腳本？

Answer 1

這裏的多進程功能也可以在Windows上按預期工作。然而，lst代需要很多時間（在Windows上比在Linux上多花幾倍）。

在任務管理器中可以看到腳本運行時有5個python.exe進程。起初，其中一個使用25％的CPU，其內存使用率緩慢增加。大約需要一分鐘。

然後4個其他進程佔用CPU。此處啓動pool.map()。但是，它只持續幾秒鐘。所以，看起來所有事情都只在一個過程中完成。

在行動中看到Windows上的多進程是有意義的減少lst十倍，並把一些循環進入Map(L)功能，使其利用更多的時間，例如：

def Map(L): 
    ret = 0; 
    for i in range(5000): 
     ret += len(L) 
     ret %= 50 
    return ret 

def Main(): 
    pool = Pool() 
    lst = [random.sample(range(1, 100), random.randint(1, 50)) for i in repeat(None, 100000)] 

    print("Start") 
    start_time = time.time() 
    #...