檢查兩個numpy陣列是否相同

Question

假設我有一堆陣列，包括x和y，我想檢查它們是否相等。一般來說，我可以使用np.all(x == y)（禁止一些我現在忽略的愚蠢的角落案例）。

但是，這會評估通常不需要的整個陣列(x == y)。我的陣列非常大，而且我有很多它們，並且兩個陣列相等的概率很小，所以很可能我只需要評估(x == y)的一小部分，然後all函數可能會返回假，所以這不是我的最佳解決方案。

我已經使用內置all功能嘗試，結合itertools.izip：all(val1==val2 for val1,val2 in itertools.izip(x, y))

不過，這似乎只是在情況下慢得多兩個陣列是相等，即總體而言，它使用的STIL不值得超過np.all。我認爲是因爲內建的all的通用性。而np.all不適用於發電機。

有沒有辦法以更快捷的方式做我想做的事？

我知道這個問題類似於以前提出的問題（例如Comparing two numpy arrays for equality, element-wise），但他們並未特別提及提前終止的情況。

Answer 1

在此之前在numpy的實現本身就可以編寫自己的功能和JIT編譯它：

import numpy as np 
import numba as nb 


@nb.jit(nopython=True) 
def arrays_equal(a, b): 
    if a.shape != b.shape: 
     return False 
    for ai, bi in zip(a.flat, b.flat): 
     if ai != bi: 
      return False 
    return True 


a = np.random.rand(10, 20, 30) 
b = np.random.rand(10, 20, 30) 


%timeit np.all(a==b) # 100000 loops, best of 3: 9.82 µs per loop 
%timeit arrays_equal(a, a) # 100000 loops, best of 3: 9.89 µs per loop 
%timeit arrays_equal(a, b) # 100000 loops, best of 3: 691 ns per loop 

最壞情況下的性能（數組相等），相當於np.all以及在提早停止編譯函數的情況下，可能會大大超過np.all。

Answer 2

在numpy page on github上顯然正在討論在陣列比較中添加短路邏輯，因此可能會在未來版本的numpy中提供。

Answer 3

您可以迭代數組中的所有元素並檢查它們是否相等。 如果數組最有可能不相等，它將比.all函數返回更快。 事情是這樣的：有numba

import numpy as np 

a = np.array([1, 2, 3]) 
b = np.array([1, 3, 4]) 

areEqual = True 

for x in range(0, a.size-1): 
     if a[x] != b[x]: 
       areEqual = False 
       break 
     else: 
       print "a[x] is equal to b[x]\n" 

if areEqual: 
     print "The tables are equal\n" 
else: 
     print "The tables are not equal\n" 

Answer 4

也許有人理解底層的數據結構可以優化或解釋它是否可靠/安全/良好的做法，但它似乎工作。

np.all(a==b) 
Out[]: True 

memoryview(a.data)==memoryview(b.data) 
Out[]: True 

%timeit np.all(a==b) 
The slowest run took 10.82 times longer than the fastest. This could mean that an intermediate result is being cached. 
100000 loops, best of 3: 6.2 µs per loop 

%timeit memoryview(a.data)==memoryview(b.data) 
The slowest run took 8.55 times longer than the fastest. This could mean that an intermediate result is being cached. 
100000 loops, best of 3: 1.85 µs per loop 

如果我理解這個正確，ndarray.data創建一個指針到數據緩衝器和memoryview創建本地蟒類型，可以是短路移出緩衝器。

我想。

編輯：進一步的測試表明它可能不會像所顯示的那麼大的時間改進。此前a=b=np.eye(5)

a=np.random.randint(0,10,(100,100)) 

b=a.copy() 

%timeit np.all(a==b) 
The slowest run took 6.70 times longer than the fastest. This could mean that an intermediate result is being cached. 
10000 loops, best of 3: 17.7 µs per loop 

%timeit memoryview(a.data)==memoryview(b.data) 
10000 loops, best of 3: 30.1 µs per loop 

np.all(a==b) 
Out[]: True 

memoryview(a.data)==memoryview(b.data) 
Out[]: True 

Answer 5

嗯，我知道這就是窮人的答案，但它似乎沒有此沒有簡單的方法。 Numpy Creators應該修復它。我建議：

def compare(a, b): 
    if len(a) > 0 and not np.array_equal(a[0], b[0]): 
     return False 
    if len(a) > 15 and not np.array_equal(a[:15], b[:15]): 
     return False 
    if len(a) > 200 and not np.array_equal(a[:200], b[:200]): 
     return False 
    return np.array_equal(a, b) 

:)