OpenCV：移動/對齊臉部圖像相對於參考圖像（圖像註冊）

Question

我是OpenCV2的新手，正在從事情感識別項目，並希望調整與參考臉部圖像相關的臉部圖像。我希望在移動到旋轉之前讓圖像翻譯工作。當前的想法是在有限的範圍內在x和y座標上運行搜索，並使用平方差的和作爲誤差度量來選擇最佳的x/y參數來對齊圖像。我使用OpenCV face_cascade函數檢測臉部圖像，所有圖像都調整爲固定尺寸（128x128）。問題：我需要修改Mat圖像的哪些參數，以在x軸和y軸上以正/負方向移動圖像？我相信mat數據類型不再支持setImageROI？我有兩個面孔的投資回報率，但我不確定如何使用它們。

void alignImage(vector<Rect> faceROIstore, vector<Mat> faceIMGstore) 
{ 
    Mat refimg = faceIMGstore[1]; //reference image 
    Mat dispimg = faceIMGstore[52]; // "displaced" version of reference image 
    //Rect refROI = faceROIstore[1]; //Bounding box for face in reference image 
    //Rect dispROI = faceROIstore[52]; //Bounding box for face in displaced image 
    Mat aligned; 

    matchTemplate(dispimg, refimg, aligned, CV_TM_SQDIFF_NORMED); 
    imshow("Aligned image", aligned); 
} 

這種方法的想法是基於Image Alignment Tutorial by Richard Szeliski在Windows上使用OpenCV 2.4進行工作。任何建議，非常感謝。

Answer 1

cv::Mat確實支持投資回報率。 （但它不支持COI - 通道的利益。）

要應用的投資回報率，您可以使用operator()或特殊的構造：

Mat refimgROI = faceIMGstore[1](faceROIstore[1]); //reference image ROI 
Mat dispimgROI(faceIMGstore[52], faceROIstore[52]); // "displaced" version of reference image ROI 

，並找到你可以利用移動圖像內的最佳位置matchTemplate功能。

---

根據您的意見，我可以建議如下代碼，會發現參照塊附近的第二（移動）貼片的最佳位置！

Mat ref = faceIMGstore[1](faceROIstore[1]); 
Mat disp = faceIMGstore[52](faceROIstore[52]); 

disp = disp.adjustROI(5,5,5,5); //allow 5 pixel max adjustment in any direction 
if(disp.cols < ref.cols || disp.rows < ref.rows) 
    return 0; 
Mat map; 
cv::matchTemplate(disp, ref, map, CV_TM_SQDIFF_NORMED); 

Point minLoc; 
cv::minMaxLoc(map, 0, &minLoc); 

Mat adjusted = disp(Rect(minLoc.x, minLoc.y, ref.cols, ref.rows));