當從文件中讀取和評估方程列表時，加速Python eval

Question

我已經放在一起了一個簡單的Python腳本，它從單獨的行上的文本文件中讀取大量代數表達式，評估每行上的數學並將其放入一個numpy數組。然後找到這個矩陣的特徵值。然後參數A，B，C將被改變並且程序再次運行，因此使用函數來實現這一點。

其中一些文本文件將有數百萬行方程式，因此在對代碼進行分析後，我發現eval命令約佔執行時間的99％。我意識到使用eval的危險，但是這些代碼只能由我自己使用。代碼的所有其他部分都很快，除了撥打eval。

以下是mat_size設置爲500的代碼，代表500 * 500的數組，表示從該文件讀入250,000行方程。我無法提供大小約爲0.5GB的文件，但提供了下面的示例，它只使用基本的數學運算。

import numpy as np 
from numpy import * 
from scipy.linalg import eigvalsh 

mat_size = 500 

# Read the file line by line 
with open("test_file.txt", 'r') as f: 
    lines = f.readlines() 

# Function to evaluate the maths and build the numpy array 
def my_func(A,B,C): 
    lst = [] 
    for i in lines: 
     # Strip the \n 
     new = eval(i.rstrip()) 
     lst.append(new) 
    # Build the numpy array 
    AA = np.array(lst,dtype=np.float64) 
    # Resize it to mat_size 
    matt = np.resize(AA,(mat_size,mat_size)) 
    return matt 

# Function to find eigenvalues of matrix 
def optimise(x): 
    A,B,C = x 
    test = my_func(A,B,C) 
    ev=-1*eigvalsh(test) 
    return ev[-(1)] 

# Define what A,B,C are, this can be changed each time the program is run 
x0 = [7.65,5.38,4.00] 

# Print result 
print(optimise(x0)) 

一個例子輸入文本文件的幾行：（mat_size可改爲2運行此文件）

.5/A**3*B**5+C 
35.5/A**3*B**5+3*C 
.8/C**3*A**5+C**9 
.5/A*3+B**5-C/45 

我知道eval通常是不好的做法和緩慢的，所以我看了用於其他手段來實現加速。我嘗試了方法概述here但這些似乎沒有工作。我也試着用sympy來解決這個問題，但那導致了一個巨大的放緩。解決這個問題的更好方法是什麼？

編輯

從建議使用numexpr相反，我所遇到的地方研磨到比標準eval停止的問題。對於某些情況，矩陣元素包含相當多的代數表達式。下面是一個矩陣元素的例子，即文件中的其中一個方程（它包含了幾個未在上面的代碼中定義的術語，但可以很容易地在代碼的頂部定義）：

-71*A**3/(A+B)**7-61*B**3/(A+B)**7-3/2/B**2/C**2*A**6/(A+B)**7-7/4/B**3/m3*A**6/(A+B)**7-49/4/B**2/C*A**6/(A+B)**7+363/C*A**3/(A+B)**7*z3+451*B**3/C/(A+B)**7*z3-3/2*B**5/C/A**2/(A+B)**7-3/4*B**7/C/A**3/(A+B)**7-1/B/C**3*A**6/(A+B)**7-3/2/B**2/C*A**5/(A+B)**7-107/2/C/m3*A**4/(A+B)**7-21/2/B/C*A**4/(A+B)**7-25/2*B/C*A**2/(A+B)**7-153/2*B**2/C*A/(A+B)**7-5/2*B**4/C/m3/(A+B)**7-B**6/C**3/A/(A+B)**7-21/2*B**4/C/A/(A+B)**7-7/4/B**3/C*A**7/(A+B)**7+86/C**2*A**4/(A+B)**7*z3+90*B**4/C**2/(A+B)**7*z3-1/4*B**6/m3/A**3/(A+B)**7-149/4/B/C*A**5/(A+B)**7-65*B**2/C**3*A**4/(A+B)**7-241/2*B/C**2*A**4/(A+B)**7-38*B**3/C**3*A**3/(A+B)**7+19*B**2/C**2*A**3/(A+B)**7-181*B/C*A**3/(A+B)**7-47*B**4/C**3*A**2/(A+B)**7+19*B**3/C**2*A**2/(A+B)**7+362*B**2/C*A**2/(A+B)**7-43*B**5/C**3*A/(A+B)**7-241/2*B**4/C**2*A/(A+B)**7-272*B**3/C*A/(A+B)**7-25/4*B**6/C**2/A/(A+B)**7-77/4*B**5/C/A/(A+B)**7-3/4*B**7/C**2/A**2/(A+B)**7-23/4*B**6/C/A**2/(A+B)**7-11/B/C**2*A**5/(A+B)**7-13/B**2/m3*A**5/(A+B)**7-25*B/C**3*A**4/(A+B)**7-169/4/B/m3*A**4/(A+B)**7-27*B**2/C**3*A**3/(A+B)**7-47*B/C**2*A**3/(A+B)**7-27*B**3/C**3*A**2/(A+B)**7-38*B**2/C**2*A**2/(A+B)**7-131/4*B/m3*A**2/(A+B)**7-25*B**4/C**3*A/(A+B)**7-65*B**3/C**2*A/(A+B)**7-303/4*B**2/m3*A/(A+B)**7-5*B**5/C**2/A/(A+B)**7-49/4*B**4/m3/A/(A+B)**7-1/2*B**6/C**2/A**2/(A+B)**7-5/2*B**5/m3/A**2/(A+B)**7-1/2/B/C**3*A**7/(A+B)**7-3/4/B**2/C**2*A**7/(A+B)**7-25/4/B/C**2*A**6/(A+B)**7-45*B/C**3*A**5/(A+B)**7-3/2*B**7/C**3/A/(A+B)**7-123/2/C*A**4/(A+B)**7-37/B*A**4/(A+B)**7-53/2*B*A**2/(A+B)**7-75/2*B**2*A/(A+B)**7-11*B**6/C**3/(A+B)**7-39/2*B**5/C**2/(A+B)**7-53/2*B**4/C/(A+B)**7-7*B**4/A/(A+B)**7-7/4*B**5/A**2/(A+B)**7-1/4*B**6/A**3/(A+B)**7-11/C**3*A**5/(A+B)**7-43/C**2*A**4/(A+B)**7-363/4/m3*A**3/(A+B)**7-11*B**5/C**3/(A+B)**7-45*B**4/C**2/(A+B)**7-451/4*B**3/m3/(A+B)**7-5/C**3*A**6/(A+B)**7-39/2/C**2*A**5/(A+B)**7-49/4/B**2*A**5/(A+B)**7-7/4/B**3*A**6/(A+B)**7-79/2/C*A**3/(A+B)**7-207/2*B**3/C/(A+B)**7+22/B/C**2*A**5/(A+B)**7*z3+94*B/C**2*A**3/(A+B)**7*z3+76*B**2/C**2*A**2/(A+B)**7*z3+130*B**3/C**2*A/(A+B)**7*z3+10*B**5/C**2/A/(A+B)**7*z3+B**6/C**2/A**2/(A+B)**7*z3+3/B**2/C**2*A**6/(A+B)**7*z3+7/B**3/C*A**6/(A+B)**7*z3+52/B**2/C*A**5/(A+B)**7*z3+169/B/C*A**4/(A+B)**7*z3+131*B/C*A**2/(A+B)**7*z3+303*B**2/C*A/(A+B)**7*z3+49*B**4/C/A/(A+B)**7*z3+10*B**5/C/A**2/(A+B)**7*z3+B**6/C/A**3/(A+B)**7*z3-3/4*B**7/C/m3/A**3/(A+B)**7-7/4/B**3/C/m3*A**7/(A+B)**7-49/4/B**2/C/m3*A**6/(A+B)**7-149/4/B/C/m3*A**5/(A+B)**7-293*B/C/m3*A**3/(A+B)**7+778*B**2/C/m3*A**2/(A+B)**7-480*B**3/C/m3*A/(A+B)**7-77/4*B**5/C/m3/A/(A+B)**7-23/4*B**6/C/m3/A**2/(A+B)**7 

numexpr當矩陣元素是這種形式時，完全扼流圈，而eval瞬時進行評估。對於僅10 * 10的矩陣（文件中的100個方程）numexpr需要大約78秒來處理文件，而eval需要0.01秒。對使用numexpr的代碼進行性能分析發現數字問題的getExprnames和precompile函數是造成問題的原因，其中precompile佔用了總時間的73.5秒，而getExprNames佔用了3.5秒的時間。爲什麼預編譯會在getExprNames和getExprNames之間造成這種特殊計算的瓶頸？這個模塊不適合長代數表達式嗎？

Answer 1

我找到了一種方法，通過使用multiprocessing庫來加速eval（）在這個特定的實例中。我像往常一樣讀取文件，但是然後將列表分成相同大小的子列表，然後可以在不同的CPU上分別處理這些列表，並在最後重新組合評估的子列表。這爲原始方法提供了一個很好的加速。我確信下面的代碼可以被簡化/優化;但現在它起作用了（例如，如果存在素數的列表元素，這將意味着不相等的列表）。一些粗糙的基準測試表明，使用筆記本電腦的4個CPU時，速度提高了3倍。下面是代碼：

from multiprocessing import Process, Queue 

with open("test.txt", 'r') as h: 
    linesHH = h.readlines() 


# Get the number of list elements 
size = len(linesHH) 

# Break apart the list into the desired number of chunks 
chunk_size = size/4 
chunks = [linesHH[x:x+chunk_size] for x in xrange(0, len(linesHH), chunk_size)] 

# Declare variables 
A = 0.1 
B = 2 
C = 2.1 
m3 = 1 
z3 = 2 

# Declare all the functions that process the substrings 
def my_funcHH1(A,B,C,que): #add a argument to function for assigning a queue to each chunk function 
    lstHH1 = [] 
    for i in chunks[0]: 
     HH1 = eval(i) 
     lstHH1.append(HH1) 
    que.put(lstHH1) 

def my_funcHH2(A,B,C,que):  
    lstHH2 = [] 
    for i in chunks[1]: 
     HH2 = eval(i) 
     lstHH2.append(HH2) 
    que.put(lstHH2) 

def my_funcHH3(A,B,C,que):  
    lstHH3 = [] 
    for i in chunks[2]: 
     HH3 = eval(i) 
     lstHH3.append(HH3) 
    que.put(lstHH3) 

def my_funcHH4(A,B,C,que):  
    lstHH4 = [] 
    for i in chunks[3]: 
     HH4 = eval(i) 
     lstHH4.append(HH4) 
    que.put(lstHH4) 

queue1 = Queue()  
queue2 = Queue() 
queue3 = Queue() 
queue4 = Queue() 

# Declare the processes 
p1 = Process(target= my_funcHH1, args= (A,B,C,queue1))  
p2 = Process(target= my_funcHH2, args= (A,B,C,queue2)) 
p3 = Process(target= my_funcHH3, args= (A,B,C,queue3)) 
p4 = Process(target= my_funcHH4, args= (A,B,C,queue4)) 

# Start them 
p1.start() 
p2.start() 
p3.start() 
p4.start() 

HH1 = queue1.get() 
HH2 = queue2.get() 
HH3 = queue3.get() 
HH4 = queue4.get() 
p1.join() 
p2.join() 
p3.join() 
p4.join() 

# Obtain the final result by combining lists together again. 
mergedlist = HH1 + HH2 + HH3 + HH4