Python：我如何使用多處理來加速對類實例的操作？

Question

例如：

instances = [ClassName() for i in range(no_inst)] 
for data in dataset: 
    for inst in instances: 
     inst.dosomething(data) 

注：情況不修改數據，因此沒有必要實例之間的通信。

Answer 1

該最簡單我知道的方式是使用multiprocessing.Pool.map就像你會使用map內建。你只需要編寫一個函數來做到這一點，你要完成的任務，它處理所有的並行：

import multiprocessing as mp 

instances = [ClassName() for i in range(no_inst)] 

def dosomething(inst): 
    for data in dataset: 
     inst.dosomething(data) 

num_procs = 4 #however many processors you'll use 
pool = mp.Pool(num_procs) 
pool.map(dosomething,instances) 

有幾個陷阱 - 因爲他們不是lambda功能將無法在這裏工作例如pickleable。這也返回一個列表None（因爲這是什麼dosomething返回） - 通常我不喜歡使用列表解析或map的副作用，但我放鬆我的立場，因爲它涉及到多處理，因爲它是那麼容易。

Answer 2

您可以使用接口threading創建一個Thread類，該類滿足dosomething(data)。您可以爲每個循環啓動多個線程，調用run()來啓動它們。建議將它們放入一個列表中，以便您可以檢查它們的狀態，直到完成所有狀態。