使用多處理時的內存泄漏

Question

與標題一樣，當使用multiprocessing時，我正在努力解決內存泄漏問題。我知道這個問題之前曾被問過，但我仍然無法爲我的問題找到正確的解決方案。

我有一個RGB圖像列表（共30.000）。我需要閱讀每幅圖像，處理所有的三個RGB通道，然後保存在內存中的結果（稍後保存在1大文件）

我試圖用這樣的：

import multiprocessing as mp 
import random 
import numpy as np 


# Define an output queue to store result 
output = mp.Queue() 

# define a example function 
def read_and_process_image(id, output): 
    result = np.random.randint(256, size=(100, 100, 3)) #fake an image 
    output.put(result) 

# Setup a list of processes that we want to run 
processes = [mp.Process(target=read_and_process_image, args=(id, output)) for id in range(30000)] 

# Run processes 
for p in processes: 
    p.start() 

# # Exit the completed processes 
# for p in processes: 
#  p.join() 

# Get process results from the output queue 
results = [output.get() for p in processes] 

print(results) 

此代碼使用大量內存。 This answer解釋了這個問題，但我找不到將其應用於我的代碼的方式。任何建議？謝謝！

編輯：我也嘗試joblib和Pool類，但像我預期的代碼將無法使用所有的內核（我看到使用正常for循環與這兩個病例之間沒有區別）

Answer 1

我'd使用池來限制產生的進程數量。我寫了一個示範依靠代碼：

import multiprocessing as mp 
import os 
import numpy as np 

# define a example function 
def read_and_process_image(_id): 
    print("Process %d is working" % os.getpid()) 
    return np.random.randint(256, size=(100, 100, 3)) 

# Setup a list of arguments that we want to run the function with 
taskargs = [(_id) for _id in range(100)] 

# open a pool of processes 
pool = mp.Pool(max(1, mp.cpu_count() // 2)) 
# Run processes 
results = pool.map(read_and_process_image, taskargs) 

print(results) 

我知道arguemnts都沒有用，但我想你不會想看到如何做到這一點的情況下，你確實需要它（此外，我由於id是內建的，因此將id更改爲_id）。