與不同參數並行運行一個函數 - python

Question

我有一個函數slow_function需要大約200秒來處理一個job_title，它讀寫一個全局變量。

使用此代碼的性能沒有提高。我是否錯過了一些東西，但是這會返回相同的結果。

代碼並行運行五個的工作類別：

from threading import Thread 
    threads = [] 

    start = time.time() 
    for job_title in self.job_titles: 
     t = Thread(target=self.slow_function, args=(job_title,)) 
     threads.append(t) 
    # Start all threads 
    for x in threads: 
     x.start() 

    # Wait for all of them to finish 
    for x in threads: 
     x.join() 
    end = time.time() 
    print "New time taken for all jobs:", end - start 

Answer 1

您應該從class方法中提取slow_function，因爲在進程之間共享本地上下文是不可能的。之後，你可以使用此代碼：

from multiprocessing import Pool 

start = time.time() 

pool = Pool() 

results = pool.map(slow_function, self.job_titles) 

for r in results: 
    # update your `global` variables here 

end = time.time() 
print "New time taken for all jobs:", end - start 

Answer 2

您需要使用多（https://docs.python.org/2/library/multiprocessing.html）模塊，因爲線程模塊由GIL（https://docs.python.org/2/glossary.html#term-global-interpreter-lock）的限制。

但是你不能使用全局變量在生成的進程之間交換數據！ ...參見https://docs.python.org/2/library/multiprocessing.html#exchanging-objects-between-processes