在OpenCV中與容差匹配的模板

Question

我正在使用OpenCV和C++。我想檢查一個圖像是否是另一個圖像的一部分，並且已經找到了一個名爲matchTemplate的函數。但是如果模板圖像有點不同呢？是否有一個函數或像matchTemplate的方式來檢查，如果一個模板是源圖像的一部分，但用寬容的參數，如位置，角度，大小，甚至變形？或者我需要一個完全不同於模板匹配的方法嗎？

這是我的代碼到目前爲止，它在源圖像中找到模板圖像，但沒有（或幾乎沒有）寬容。

#include <opencv2\core\core.hpp> 
#include <opencv2\highgui\highgui.hpp> 
#include <opencv2\imgproc\imgproc.hpp> 
#include <opencv2\highgui\highgui.hpp> 
#include <iostream> 
#include <stdio.h> 

using namespace cv; 
using namespace std; 

/// Global Variables 
Mat img; Mat templ; Mat result; 
const char* image_window = "Source Image"; 
const char* result_window = "Result window"; 

int match_method; 
int max_Trackbar = 5; 

/// Function Headers 
void MatchingMethod(int, void*); 

/** 
* @function main 
*/ 
int main(int, char** argv) 
{ 
    /// Load image and template 
    img = imread("a1.jpg", 1); 
    templ = imread("a2.jpg", 1); 

    /// Create windows 
    namedWindow(image_window, WINDOW_AUTOSIZE); 
    namedWindow(result_window, WINDOW_AUTOSIZE); 

    /// Create Trackbar 
    const char* trackbar_label = "Method: \n 0: SQDIFF \n 1: SQDIFF NORMED \n 2: TM CCORR \n 3: TM CCORR NORMED \n 4: TM COEFF \n 5: TM COEFF NORMED"; 
    createTrackbar(trackbar_label, image_window, &match_method, max_Trackbar, MatchingMethod); 

    MatchingMethod(0, 0); 

    waitKey(0); 
    return 0; 
} 

/** 
* @function MatchingMethod 
* @brief Trackbar callback 
*/ 
void MatchingMethod(int, void*) 
{ 
    /// Source image to display 
    Mat img_display; 
    img.copyTo(img_display); 

    /// Create the result matrix 
    int result_cols = img.cols - templ.cols + 1; 
    int result_rows = img.rows - templ.rows + 1; 

    result.create(result_cols, result_rows, CV_32FC1); 

    /// Do the Matching and Normalize 
    matchTemplate(img, templ, result, match_method); 
    normalize(result, result, 0, 1, NORM_MINMAX, -1, Mat()); 

    /// Localizing the best match with minMaxLoc 
    double minVal; double maxVal; Point minLoc; Point maxLoc; 
    Point matchLoc; 

    minMaxLoc(result, &minVal, &maxVal, &minLoc, &maxLoc, Mat()); 


    /// For SQDIFF and SQDIFF_NORMED, the best matches are lower values. For all the other methods, the higher the better 
    if(match_method == TM_SQDIFF || match_method == TM_SQDIFF_NORMED) 
    { matchLoc = minLoc; } 
    else 
    { matchLoc = maxLoc; } 

    /// Show me what you got 
    rectangle(img_display, matchLoc, Point(matchLoc.x + templ.cols , matchLoc.y + templ.rows), Scalar::all(0), 2, 8, 0); 
    rectangle(result, matchLoc, Point(matchLoc.x + templ.cols , matchLoc.y + templ.rows), Scalar::all(0), 2, 8, 0); 

    imshow(image_window, img_display); 
    imshow(result_window, result); 

    return; 
} 

我用我的代碼中的圖片：

Answer 1

你已經確定了與模板匹配的主要限制。它對圖像的任何變形都非常脆弱。模板匹配通過在圖像周圍滑動模板大小的框並檢查模板和框內區域之間的相似性來實現。它使用逐像素比較方法（如歸一化互相關）來檢查相似性。如果你想允許不同的大小和旋轉，你需要編寫一個循環來擴展或縮小原始模板，或者旋轉它。它變得非常低效。

如果你想允許變形，並且在不同尺度和旋轉下進行更有效的搜索，那麼標準方法是SURF。如果你的圖像具有良好的分辨率，那麼它非常高效，而且相當準確。你可以谷歌教程，並找到使用SURF查找對象的示例代碼。基本上，SURF識別模板和圖像中的關鍵點（獨特的圖像區域）。然後，您可以找到圖像中與模板匹配的關鍵點數最多的區域。 （如果您已經這樣做了，並且這是您的「功能匹配」的含義，那麼我認爲您的方向是正確的。）