是否有任何模塊可以讀取shell腳本？

Question

我正在製作一個python腳本，我需要使用一些設置在bash shell腳本中的環境變量。

的bash腳本是一樣的東西：

#! /bin/sh 

#sets some names: 
export DISTRO="unified" 
#export DISTRO="other" 

#number of parallel builds 
export BB_NUM_THREADS=2 

#set build dir 
export BUILDDIR=$PWD 

通常情況下，我只想源這個腳本在bash，然後去做我的構建。我試圖在整個過程中對python進行換行，以便對輸出進行一些管理，因此我想要刪除手動source ./this_script.sh步驟。

我想要做的是從python中讀取此腳本，然後使用os.environ來設置其中的變量。 （我知道這不會影響父，但只有當前運行Python實例，這很好）

所以爲了使我的工作更容易，我試圖找出有任何模塊，可以「解析」bash腳本並利用在內部發現的環境變量？目前我正在手工做這件事，這有點痛苦。

如果沒有這樣的模塊存在這樣做的正是我想要的東西，有沒有更Python（閱讀：容易/短）的手動分析一般文件的方式，現在我這樣做：

def parse_bash_script(fn): 
    with open(fn) as f: 
    for line in f: 
     if not line[:1] == '#': #ignore comments 
     if "export" in line: 
      line = line.replace(" ","").strip() 
      var = line[6:line.find("=")] 
      val = line[line.find("=")+1:len(line)] 
      if "\"" in val: 
      val = val[1:-1] 
      os.environ[var]=val 

Answer 1

def parse_bash_script(fn): 
    with open(fn) as f: 
    for line in f: 
     if not line.startswith('#'): #ignore comments 
     if "export" in line: 
      var, _, val = line.partition('=') 
      var = var.lstrip() 
      val = val.rstrip() 
      if val.startswith('"'): 
      vals = val.rpartition('"') 
      val = vals[0][1]+vals[2] 
      os.environ[var]=val 

Answer 2

有沒有模塊來做你想要的東西，但shlex會做很多你想要的。特別是，它會得到quoting等，沒有你不必擔心它（這是最難的部分），以及跳過評論等。它不會做的唯一的事情是處理export關鍵字。

圍繞着簡單的方法是進行預處理：

with open(fn) as f: 
    processed = f.read().replace('export ', '') 
for line in shlex.split(processed): 
    var, _, value = line.partition('=') 
    os.environ[var] = val 

---

這是一個有點hackier，但你也可以通過後期處理做到這一點少一點冗長。特別是，shlex會把export foo="bar spam eggs"爲兩個值：export和foo="bar spam eggs"，並且你可以跳過那些== 'export'，或所在的分區覺得沒有什麼，或者...例如：

with open(fn) as f: 
    for line in shlex.split(f.read()): 
     var, eq, value = line.partition('=') 
     if eq: 
      os.environ[var] = val 

---

如果你想爲了更有趣，你可以構造一個對象，並且（a）直接從該文件驅動解析器，並且（b）以更細粒度的級別控制解析。但是，我認爲這不是必要的。

---

同時，如果你想處理環境替代（如BUILDDIR=$PWD暗示），這不會神奇地照顧這對你。您可以使configparser爲您的ExtendedInterpolation feature做到這一點，但是您需要欺騙configparser來處理shlex語法，此時......爲什麼要這麼做。

您當然可以通過編寫自己的插補器手動完成，但這很難做到正確。您需要知道殼牌關於爲什麼$PWD-foo與${PWD}-foo相同的規則，但$PWD_foo與${PWD_foo}等相同。

在這一點上的一個更好的解決方案 - 假設腳本實際上是安全運行的 - 將實際上使用shell來爲您執行。例如：

with open('script.sh') as f: 
    script = f.read() 
script += b'\nenv' 
with subprocess.Popen(['sh'], stdin=subprocess.PIPE, stdout=subprocess.PIPE) as p: 
    result = p.communicate(script) 
for line in result.splitlines(): 
    var, _, value = line.partition('=') 
    os.environ[var] = value 

當然這也將覆蓋之類的東西_=/usr/bin/env，但可能不是任何你所關心的。

Answer 3

我有同樣的問題，並基於abarnert的建議，我決定實施解決方案作爲subprocess調用一個受限制的bash外殼，並結合shlex。

import shlex 
import subprocess 

filename = '/path/to/file.conf' 
o, e = subprocess.Popen(
    ['/bin/bash', '--restricted', '--noprofile', '--init-file', 
    filename, '-i', '-c', 'declare'], 
    env={'PATH': ''}, 
    stdout=subprocess.PIPE, 
    stderr=subprocess.PIPE).communicate() 

if e: 
    raise StandardError('conf error in {}: {}'.format(filename, e)) 

for token in shlex.split(o): 
    parts = token.split('=', 1) 
    if len(parts) == 2: 
     os.environ[parts[0]] = parts[1] 

受限shell的好處是它可以阻止執行shell腳本時可能發生的許多不良或惡意副作用。從bash文檔：

A restricted shell is used to set up an environment more controlled than the standard shell. It behaves identically to bash with the exception that the following are disallowed or not performed:

• changing directories with cd
• setting or unsetting the values of SHELL, PATH, ENV, or BASH_ENV
• specifying command names containing /
• specifying a file name containing a/as an argument to the . builtin command
• Specifying a filename containing a slash as an argument to the -p option to the hash builtin command
• importing function definitions from the shell environment at startup
• parsing the value of SHELLOPTS from the shell environment at startup
• redirecting output using the >, >|, <>, >&, &>, and >> redirection operators
• using the exec builtin command to replace the shell with another command
• adding or deleting builtin commands with the -f and -d options to the enable builtin command
• Using the enable builtin command to enable disabled shell builtins
• specifying the -p option to the command builtin command
• turning off restricted mode with set +r or set +o restricted.