OpenCV模板匹配和透明度

因爲第一選擇自己的互相關法很簡單，我會在這裏探索第二個選項。我將重新使用前面提供給a similar question的示例代碼。如果將互相關直接應用於圖像，背景會干擾模板匹配（特別是淺色背景部分）。如果您使用顏色通道，您會發現藍色通道中的匹配會給出正確的結果。這取決於圖像內容，並不是解決問題的一致方法。

另一種選擇是對圖像和模板執行邊緣檢測（例如Sobel），然後執行互相關。這裏是邊緣檢測圖像（我在GIMP的Luma通道上使用Sobel邊緣檢測器，然後進行一些強度拉伸）。

map

building

正如你可以看到，α通道這裏已經變得無關緊要，因爲大多數的地形成爲零強度，並且不會向交叉相關計算。所以，現在的互相關可以直接應用，獲得所需結果：

[email protected]:~/Desktop/stackoverflow$ python cross-correlation.py map-blue.png building-maskz-blue.png 
(163, 244)

最後，這裏的another related question。

PS。這是什麼遊戲？

來源

2011-01-25 12:08:48 misha

我想你正在嘗試做什麼在OpenCV中稱爲模板匹配與面具。我想你可以嘗試在模板上設置ROI（感興趣區域）。 This SO question shows how to do it。（請注意，在這個問題中，ROI是在目標圖片上設置的，而不是模板，但程序是相同的）。

來源

2011-01-23 17:18:28 carlosdc

有趣，但並沒有真正的幫助，因爲我不能縮小搜索範圍到這樣的區域（模板圖像可能位於 – mnn 2011-01-24 19:51:53

但是，在模板本身中，像素是透明的（即不應該在模板ROI中），像素不透明（即應該在模板ROI中）。可能發生的最糟糕的事情（就像@Utkarsh Shinha所說的那樣，你必須編寫自己的模板匹配函數來忽略不在ROI中的像素） – carlosdc 2011-01-25 00:38:20

查看示例圖像透明區域不是以任何方式呈現矩形，並且ROI是一個矩形 – mnn 2011-01-25 10:05:33

我不確定，但透明度通道就像其他任何通道一樣處理。如果模板中的某個像素是「透明的」，則它在主圖像上也應該是「透明的」。我只是在這裏猜測。

來源

2011-01-24 13:39:59

如果您嘗試用黑色RGB顏色替換Alpha通道，則SQDIFF/SQDIFF_N選項將是一個解決方案。至少這是我對同樣問題的解決方案。從我的結果顯而易見的是，這種方法對更亮的像素值很敏感，我抓住了這個機會。

來源

2012-09-20 13:46:44 Marstep

-1

我遇到了同樣的問題，我想到了一個解決方案。假設referenceImageMask和templateMask在好像素中有1，而在壞像素中有0。並且referenceImage和templateImage已經被屏蔽並且在壞像素中也具有0。

然後，模板匹配的第一個結果將給出圖像之間沒有標準化的互相關。但是，一堆像素爲零。

第二個模板匹配將爲每個可能的偏移量提供兩個圖像中同時不同於零（未遮罩）的像素數。

然後，通過該數字對相關性進行歸一化應該給出您（和我）想要的值。兩個圖像中未被遮罩的像素的平均產品。

Image<Gray, float> imCorr = referenceImage.MatchTemplate(templateImage,  Emgu.CV.CvEnum.TM_TYPE.CV_TM_CCORR); 
Image<Gray, float> imCorrMask = referenceImageMask.MatchTemplate(templateMask, Emgu.CV.CvEnum.TM_TYPE.CV_TM_CCORR); 
_imCorr = _imCorr.Mul(_imCorrMask.Pow(-1));

更新：實際上，此解決方案不起作用。由於opencv中的交叉關聯的實現使用了DFT，因此會出現數字問題，您不能使用第二個互相關來糾正第一個。

來源

2013-10-08 02:48:23

我對這個問題有一個稍微更多的腦死亡的解決方案，實際上它似乎工作得很好：用噪聲代替模板圖像的alpha通道，這或多或少會使得透明區域在匹配過程中變得無足輕重。

例如，我的用例涉及在iOS屏幕截圖中搜索表情符號字符。 iOS鍵盤背景根據上下文更改顏色，如果您在模板圖像中提交特定背景顏色，則匹配過程會出現問題。

下面是關於阿爾法原始模板圖像：
raw template image on alpha