圖像比較算法

Question

我試圖比較圖像，以找出彼此是否不同。首先，我試圖對RGB值進行Pearson校正，除非圖片位移小一點，否則這種方法的效果也不錯。所以如果一個圖像100％完全相同，但有一個被移動一點，我會得到一個不好的相關值。

任何建議更好的算法？

順便說一句，我說的是比較imgages千...

編輯： 這裏是我的照片的例子（微觀）：

IM1：

im2：

IM3：

IM 1和IM是相同的，但一點點移動/板缺，IM3，應當確認爲完全地不同...

編輯： 問題是用Peter Hansen的建議解決！工作得很好！感謝所有的答案！一些結果可以在這裏找到 http://labtools.ipk-gatersleben.de/image%20comparison/image%20comparision.pdf

Answer 1

A similar question在一年前被問到，並且有很多回復，其中包括一個關於像素化圖像的內容，我至少會提出一個資格預審步驟（因爲它會很快排除非相似的圖像） 。

還有一些還有更多參考和良好答案的更早的問題的鏈接。

下面是一個使用Scipy的一些想法的實現，使用上面的三個圖像（分別保存爲im1.jpg，im2.jpg，im3.jpg）。最終的輸出結果顯示im1與其本身相比，作爲基線，然後將每個圖像與其他圖像進行比較。

>>> import scipy as sp 
>>> from scipy.misc import imread 
>>> from scipy.signal.signaltools import correlate2d as c2d 
>>> 
>>> def get(i): 
...  # get JPG image as Scipy array, RGB (3 layer) 
...  data = imread('im%s.jpg' % i) 
...  # convert to grey-scale using W3C luminance calc 
...  data = sp.inner(data, [299, 587, 114])/1000.0 
...  # normalize per http://en.wikipedia.org/wiki/Cross-correlation 
...  return (data - data.mean())/data.std() 
... 
>>> im1 = get(1) 
>>> im2 = get(2) 
>>> im3 = get(3) 
>>> im1.shape 
(105, 401) 
>>> im2.shape 
(109, 373) 
>>> im3.shape 
(121, 457) 
>>> c11 = c2d(im1, im1, mode='same') # baseline 
>>> c12 = c2d(im1, im2, mode='same') 
>>> c13 = c2d(im1, im3, mode='same') 
>>> c23 = c2d(im2, im3, mode='same') 
>>> c11.max(), c12.max(), c13.max(), c23.max() 
(42105.00000000259, 39898.103896795357, 16482.883608327804, 15873.465425120798) 

所以比較注意與自己給出了一個得分42105，IM2與IM1相比已經不遠了這一點，但相比IM3與任何其他的下一半的值給出清楚，IM1。您必須嘗試其他圖片才能瞭解其效果如何，以及如何改進效果。

運行時間很長......在我的機器上運行幾分鐘。我會嘗試一些預過濾，以避免浪費時間比較非常不相似的圖像，可能與迴應其他問題時提及的「比較jpg文件大小」技巧或像素化。事實上，你有不同大小的圖像使事情複雜化，但是你沒有提供足夠的關於屠宰的可能性的信息，所以很難給出具體的答案。

Answer 2

如果你的問題是關於移位像素，也許你應該比較頻率變換。

的FFT應該OK（numpy has an implementation for 2D matrices），但我總是聽到小波是這類任務的更好的^ _^

關於性能，如果所有的圖像的大小相同，如果我記得很清楚，FFTW軟件包爲每個FFT輸入大小創建了一個專門的函數，所以你可以獲得一個很好的性能提升，重用相同的代碼......我不知道numpy是否基於FFTW，但如果它不是可以試着在那裏調查一下。

在這裏你有一個原型...你可以玩一點點，看看哪個閾值適合你的圖像。

import Image 
import numpy 
import sys 

def main(): 
    img1 = Image.open(sys.argv[1]) 
    img2 = Image.open(sys.argv[2]) 

    if img1.size != img2.size or img1.getbands() != img2.getbands(): 
     return -1 

    s = 0 
    for band_index, band in enumerate(img1.getbands()): 
     m1 = numpy.fft.fft2(numpy.array([p[band_index] for p in img1.getdata()]).reshape(*img1.size)) 
     m2 = numpy.fft.fft2(numpy.array([p[band_index] for p in img2.getdata()]).reshape(*img2.size)) 
     s += numpy.sum(numpy.abs(m1-m2)) 
    print s 

if __name__ == "__main__": 
    sys.exit(main()) 

另一種進行的方式可能是模糊圖像，然後從兩幅圖像中減去像素值。如果差值不爲零，則可以將每個方向上的一個圖像移位1 px並再次進行比較，如果差值低於上一步驟，則可以沿梯度方向重複移動，然後減去直到差值低於某個閾值或再次增加。如果模糊內核的半徑大於圖像的移位，那麼這應該起作用。

此外，您可以嘗試使用攝影工作流程中常用的一些工具來混合多個展覽或進行全景拍攝，如Pano Tools。

Answer 3

我想你可以做這樣的事情：

• 估計垂直/水平的參考圖像VS的比較圖像位移。一個簡單的SAD（絕對差之和）與運動矢量將做到。

• 轉變比較像據此

• 計算Pearson相關你試圖做

移測量並不困難。

• 在比較圖像中取一個區域（比如約32x32）。
• 將它沿水平方向移動x個像素，並在垂直方向移動y個像素。
• 計算SAD（絕對差之和）w.r.t.原始圖像
• 在小範圍內做此，x和y的幾個值（-10，+ 10）
• 找到地方，差最小
• 挑選一個值作爲移位運動矢量

注：

如果SAD來了非常高的X和Y，那麼你反正可以認爲圖像是非常不同的，並移測量的所有值是沒有必要的。

Answer 4

我有一個這樣做的圖像直方圖比較。我的基本算法是這樣的：

1. 雙像成紅，綠，藍
2. 創建紅色，綠色和藍色通道標準化的直方圖，並將它們連接成一個矢量​​其中n是「桶」的數量， 256應該是足夠
3. 減去從另一個圖像的直方圖此直方圖和計算距離

這裏是一些代碼numpy和pil

r = numpy.asarray(im.convert("RGB", (1,0,0,0, 1,0,0,0, 1,0,0,0))) 
g = numpy.asarray(im.convert("RGB", (0,1,0,0, 0,1,0,0, 0,1,0,0))) 
b = numpy.asarray(im.convert("RGB", (0,0,1,0, 0,0,1,0, 0,0,1,0))) 
hr, h_bins = numpy.histogram(r, bins=256, new=True, normed=True) 
hg, h_bins = numpy.histogram(g, bins=256, new=True, normed=True) 
hb, h_bins = numpy.histogram(b, bins=256, new=True, normed=True) 
hist = numpy.array([hr, hg, hb]).ravel() 

如果你有兩個柱狀圖，你可以得到的距離是這樣的：

diff = hist1 - hist2 
distance = numpy.sqrt(numpy.dot(diff, diff)) 

如果兩個圖像相同，距離爲0，他們更發散，距離越遠。

它對我的照片效果不錯，但在文字和徽標等圖形上失敗。

Answer 5

首先，相關性對於相似性而言是一個非常CPU密集而不準確的測量。如果單個像素之間存在差異，爲什麼不去求平方和？

一個簡單的解決方案，如果最大偏移是有限的：生成所有可能的移位圖像並找到最匹配的一個。確保僅在所有移位圖像中可匹配的像素子集上計算匹配變量（即相關性）。另外，你的最大移動幅度應該比圖像的大小要小得多。

如果你想使用一些更先進的圖像處理技術，我建議你看看SIFT這是一個非常強大的方法，（理論上來說）可以正確地匹配與平移，旋轉和縮放無關的圖像中的項目。

Answer 6

我早已做了一些圖像處理的過程，並記住，匹配時，我通常開始製作圖像灰度，然後銳化圖像的邊緣，以便只看到邊緣。你（軟件）可以移動和減去圖像，直到差異最小。

如果差異大於您設置的閾值，則圖像不相同，您可以繼續下一步。然後可以分析具有較小閾值的圖像。

我的確認爲充其量你可以從根本上消除可能的匹配，但需要親自比較可能的匹配以確定它們是否相等。

我真的不能顯示代碼，因爲它很久以前，我用Khoros /康塔塔的課程。

Answer 7

你確實需要更好地指出問題，但是看着這5張圖片，這些有機體似乎都以相同的方式定向。如果情況總是如此，您可以嘗試在兩幅圖像之間做一個normalized cross-correlation，並將峯值作爲相似度。我不知道在Python歸一化互相關函數的，但有一個類似fftconvolve()功能，你可以做的圓形互相關自己：

a = asarray(Image.open('c603225337.jpg').convert('L')) 
b = asarray(Image.open('9b78f22f42.jpg').convert('L')) 
f1 = rfftn(a) 
f2 = rfftn(b) 
g = f1 * f2 
c = irfftn(g) 

，因爲圖像作爲書面這將無法正常工作是不同的大小，並且輸出沒有加權或歸一化。

輸出的峯值位置表示兩幅圖像之間的偏移量，峯值的大小表示相似性。應該有一種方法來對它進行加權/歸一化，這樣你就可以分辨好匹配和差匹配之間的區別。

這不是我想要的答案，因爲我還沒有想出如何規範化它，但是如果我找出它，我會更新它，它會給你一個想法調查。

Answer 8

爲了讓進口在我的Ubuntu 16.04正常工作（如2017年4月），我安裝Python 2.7版和這些：

sudo apt-get install python-dev 
sudo apt-get install libtiff5-dev libjpeg8-dev zlib1g-dev libfreetype6-dev liblcms2-dev libwebp-dev tcl8.6-dev tk8.6-dev python-tk 
sudo apt-get install python-scipy 
sudo pip install pillow 

然後，我改變雪花進口這些：

import scipy as sp 
from scipy.ndimage import imread 
from scipy.signal.signaltools import correlate2d as c2d 

8年後，Snowflake的腳本爲我工作的真棒！