使用python並行處理函數

Question

我有一個需要大約10秒才能運行的進程。下面的函數將需要大約100秒十個標題條目：

for title in titles_to_update: 
    run_update_procedure(title) 

這將是並行此過程的最佳方法。

pool = Pool(2) 
pool.map(run_update_procedure, list(titles_to_update)) 

是最好的方法去做到這一點？

Answer 1

如果您在系統上使用備用核心，並且您在評論中的說明就是這種情況，那麼.map是個不錯的選擇。 順便說一下你描述的任務類型，我可能會使用.imap_unordered。看看文檔here。