視頻穩定使用opencv

Question

我想用opencv做視頻穩定（沒有opencv視頻穩定類）。

我ALGO的步驟是如下 - >

1. 衝浪點提取，

2. 匹配，

3. 單應性矩陣，

4. warpPerspective

而輸出視頻根本不穩定:(。它看起來像原始視頻。我無法找到和參考視頻穩定的代碼。我遵循了here的程序。任何人都可以通過告訴我我錯在哪裏或者提供一些源代碼鏈接來改善我的算法來幫助我。

請幫忙。謝謝

Answer 1

你可以用我的代碼段爲起點（不是很穩定，但似乎它的工作原理）：

#include "opencv2/opencv.hpp" 
#include <iostream> 
#include <vector> 
#include <stdio.h> 

using namespace cv; 
using namespace std; 

int main(int ac, char** av) 
{ 
    VideoCapture capture(0); 
    namedWindow("Cam"); 
    namedWindow("Camw"); 
    Mat frame; 
    Mat frame_edg; 
    Mat prev_frame; 
    int k=0; 
    Mat Transform; 
    Mat Transform_avg=Mat::eye(2,3,CV_64FC1); 
    Mat warped; 
    while(k!=27) 
    { 
     capture >> frame; 
     cv::cvtColor(frame,frame,cv::COLOR_BGR2GRAY); 
     cv::equalizeHist(frame,frame); 
     cv::Canny(frame,frame_edg,64,64); 
     //frame=frame_edg.clone(); 
     imshow("Cam_e",frame_edg); 
     imshow("Cam",frame); 

     if(!prev_frame.empty()) 
     { 
      Transform=estimateRigidTransform(frame,prev_frame,0); 
      Transform(Range(0,2),Range(0,2))=Mat::eye(2,2,CV_64FC1); 
      Transform_avg+=(Transform-Transform_avg)/2.0; 
      warpAffine(frame,warped,Transform_avg,Size(frame.cols, frame.rows)); 

      imshow("Camw",warped); 
     } 

     if(prev_frame.empty()) 
     { 
      prev_frame=frame.clone(); 
     } 

     k=waitKey(20);  
    } 
    cv::destroyAllWindows(); 
    return 0; 
} 

你也可以找紙：Chen_Halawa_Pang_FastVideoStabilization.pdf我remeber有MATLAB源代碼提供。

Answer 2

衝浪不是那麼快。我的工作方式是使用光流。首先，您必須使用GoodFeaturesToTrack（）函數計算第一幀的好功能。之後，我使用FindCornerSubPix（）函數做一些優化。

現在你在起始幀中有特徵點，接下來你要做的就是確定光流。有幾個光流功能，但我使用的是OpticalFlow.PyrLK（），在其中一個輸出參數中，您可以獲取當前幀中的功能點。通過這個，你可以用FindHomography（）函數計算Homography矩陣。接下來，您需要做的就是顛倒這個矩陣，您可以使用google輕鬆找到的解釋，然後調用WarpPerspective（）函數來穩定幀。

PS。我在這裏從EmguCV，OpenCV .NET包裝器中放置的函數可能會有一些差異

Answer 3

在「warpAffine（frame，warped，Transform_avg，Size（frame.cols，frame.rows））;」函數，您必須將FLAG指定爲WARP_INVERSE_MAP才能達到穩定。

示例代碼我寫：

Mat src, prev, curr, rigid_mat, dst; 

VideoCapture cap("test_a3.avi"); 

while (1) 
{ 
    bool bSuccess = cap.read(src); 
    if (!bSuccess) //if not success, break loop 
     { 
       cout << "Cannot read the frame from video file" << endl; 
       break; 
     } 

    cvtColor(src, curr, CV_BGR2GRAY); 

    if (prev.empty()) 
    { 
     prev = curr.clone(); 
    } 

    rigid_mat = estimateRigidTransform(prev, curr, false); 

    warpAffine(src, dst, rigid_mat, src.size(), INTER_NEAREST|WARP_INVERSE_MAP, BORDER_CONSTANT); 


    // ---------------------------------------------------------------------------// 

    imshow("input", src); 
    imshow("output", dst); 

    Mat dst_gray; 
    cvtColor(dst, dst_gray, CV_BGR2GRAY); 
    prev = dst_gray.clone(); 

    waitKey(30); 
} 

希望這將解決你的問題:)