如何讓多處理.Pool（）中的某些進程從Python打印到Python中的stdout？

Question

現在我有以下情況：

def take_time(time): 
     sleep(time) 
     print("Took %d seconds!" %time) 

    def multip(num_cores, data): 
     p = multiprocessing.Pool(num_cores) 
     p.map(take_time, data) 
     end_time = time() 
     print("total time taken: %d" %(end_time - start_time)) 

假設num_cores = 2和data = (1,1,3)。

>>> multi(4, data) 
Took 1 seconds! 
Took 1 seconds! 
Took 3 seconds! 

這怎麼能渲染，以便一次只有一個進程轉到stdout？ 只要沒有兩個印刷品同時印刷，哪個印刷過程並不特別重要。假設我們首先打印對應於的進程。然後，所需的輸出將

>>> multi(4, data) 
Took 1 seconds! 
Took 3 seconds! 

我猜有剛有一個更細齒的工具，而map()。謝謝！

Answer 1

一種策略是隻從一個正在運行的線程寫入，並讓其他線程輸出到隊列中。這樣做需要您的主線程異步啓動其他線程（例如，使用map_async），然後從隊列中讀取，直到完成。以你的榜樣，你會做這樣的事情：

q = multiprocessing.Queue() 

def take_time(time): 
    sleep(time) 
    q.put("Took %d seconds!" %time) 

def multip(num_cores, data): 
    p = multiprocessing.Pool(num_cores) 
    start_time = time() 
    result = p.map_async(take_time, data) 

    while not result.ready(): 
     print q.get() 

    end_time = time() 
    print("total time taken: %d" %(end_time - start_time)) 

有關如何這可以應用於現實世界的例子，check out the code爲docker-compose log命令，其內容可能多個集裝箱過程的輸出並將它們組合成一個單一的流。