如何運行使用subprocess.call的同一Python腳本的多個實例

Question

我有一個接受命令行參數的Python腳本job.py。該腳本使用Python包subprocess來運行一些外部程序。腳本和外部程序都是順序的（即沒有MPI，openMP等）。我想運行這個腳本4次，每次使用不同的命令行參數。我的處理器有4個內核，因此我想同時運行所有4個實例。如果我打開4個終端並在單獨的終端中運行腳本的每個實例，它將完美工作，並且我得到我想要的。

現在我想讓自己更容易啓動4個實例，以便我可以使用單個終端的單個命令完成所有這些操作。爲此，我使用bash腳本batch.sh：

python job.py 4 0 & 
python job.py 4 1 & 
python job.py 4 2 & 
python job.py 4 3 & 

這不起作用。事實證明，subprocess是這裏的罪魁禍首。所有Python代碼完美運行，直到它擊中subprocess.call之後，我得到：

[1]+ Stopped     python job.py 4 0 

所以我怎麼看它，就是我想在後臺運行job.py和job.py本身試圖在後臺運行別的東西通過subprocess。這顯然不起作用，原因我不明白。

有沒有辦法多次運行job.py而不需要多個終端？

編輯＃1

關於建議我嘗試了multiprocessing，thread和threading包。在最好的情況下，只有一個實例正常運行。我嘗試了一個醜陋的解決方法，它工作。我做了一個bash腳本這會打開一個新的終端的每個實例：

konsole -e python job.py 4 0 
konsole -e python job.py 4 1 
konsole -e python job.py 4 2 
konsole -e python job.py 4 3 

編輯＃2

下面是一個使用subprocess.call實際功能（注：subprocess導入爲sp）。

def run_case(path): 
    case = path['case'] 
    os.chdir(case) 
    cmd = '{foam}; {solver} >log.{solver} 2>&1'.format(foam=CONFIG['FOAM'], 
                 solver=CONFIG['SOLVER']) 
    sp.call(['/bin/bash', '-i', '-c', cmd]) 

讓我填補了空白點：

• CONFIG是一個全局定義字典。
• CONFIG['FOAM'] = 'of40'這是我的.bashrc中的一個別名，用於源文件屬於我正在運行的二進制文件。
• CONFIG['SOLVER'] = 'simpleFoam'這是我正在運行的二進制文件。

編輯＃3

我終於得到它與這個

def run_case(): 
    case = CONFIG['PATH']['case'] 
    os.chdir(case) 
    cmd = 'source {foam}; {solver} >log.simpleFoam 2>&1'.format(foam=CONFIG['FOAM'], 
                   solver=CONFIG['SOLVER']) 
    sp.call([cmd], shell=True, executable='/bin/bash') 

該解決方案的工作是制定雙方shell=True和executable='/bin/bash'而是包括/bin/bash在實際的命令行傳遞給shell。注意：foam現在是到文件而不是別名的路徑。

Answer 1

您可以從Python的內並行：

import multiprocessing 
import subprocess 

def run_job(spec): 
    ... 
    if spec ...: 
     subprocess.call(...) 

def run_all_jobs(specs): 
    pool = multiprocessing.Pool() 
    pool.map(run_job, specs) 

它有讓您監控的優勢/日誌/調試並行。