subprocess32.Popen崩潰（CPU 100％）

Question

我一直在嘗試使用subprocess32.Popen但這會導致我的系統崩潰（CPU 100％）。所以，我有以下代碼：

import subprocess32 as subprocess 

for i in some_iterable: 
    output = subprocess.Popen(['/path/to/sh/file/script.sh',i[0],i[1],i[2],i[3],i[4],i[5]],shell=False,stdin=None,stdout=None,stderr=None,close_fds=True) 

在此之前，我有以下幾點：

import subprocess32 as subprocess 
for i in some_iterable: 
    output subprocess.check_output(['/path/to/sh/file/script.sh',i[0],i[1],i[2],i[3],i[4],i[5]]) 

..我曾與這個沒有問題 - 除了它已經死了緩慢。

隨着Popen我發現這很快 - 但是我的CPU在幾秒內變得太過100％，系統崩潰 - 迫使硬重啓。

我想知道我在做什麼是造成Popen崩潰？

在Linux上，Python2.7如果有幫助的話。

感謝。

Answer 1

問題是，您正試圖一次啓動2個毫秒的進程，這會阻止您的系統。

解決方案是使用池來限制一次可以運行的最大進程數，並等待每個進程完成。對於這種情況下，你開始的子進程，並等待他們（IO約束），從multiprocessing.dummy模塊線程池會做：因爲你使用

import multiprocessing.dummy as mp 
import subprocess32 as subprocess 

def run_script(args): 
    args = ['/path/to/sh/file/script.sh'] + args 
    process = subprocess.Popen(args, close_fds=True) 
    # wait for exit and return exit code 
    # or use check_output() instead of Popen() if you need to process the output. 
    return process.wait() 

# use a pool of 10 to allow at most 10 processes to be alive at a time 
threadpool = mp.Pool(10) 

# pool.imap or pool.imap_unordered should be used to avoid creating a list 
# of all 2M return values in memory 
results = threadpool.imap_unordered(run_script, some_iterable) 
for result in results: 
    ... # process result if needed 

我省略了大部分的參數Popen無論如何都是默認值。如果你的腳本正在進行交互式工作，如果它主要做IO（網絡訪問，寫入文件......），那麼池的大小可能應該在你可用的CPU核心範圍內，然後可能更多。