與不同相機（不同視場，不同視角）拍攝的圖像相匹配的立體聲不匹配

Question

我試圖深入瞭解場景中的某些對象，並且我不想使用除相機之外的任何其他傳感器（我可以使用兩個攝像頭）。

所以，我認爲它應該是'立體聲匹配'的問題，我打算從立體圖像中提取視差圖以獲取深度信息。

但問題是，我有限制，如：

1. 兩個攝像頭不對齊。 （x，y，z）所有位置都不相同。
2. 兩臺攝像機的FOV（視野）不同。一個比另一個寬。
3. 兩臺相機的視點不同。
4. 兩臺攝像機有不同的分辨率。

在這種情況下，是否可以正確進行立體匹配？ 如果是這樣，怎麼可能？

我知道，對於立體匹配，極線幾何和基礎矩陣非常重要。 但據我所知，基本矩陣總是屬於一個相機。 兩臺相機的兩個基本矩陣之間的關係是否可以解決這個問題？

謝謝。

---------------------------------編輯------------ -------------------------

Stereo image under different camera, resolution, viewpoint, FOV

Rectified image

通過MATLAB的立體相機校準，我stereoParams和我使用它進行了整改。

但矯正的圖像太扭曲得不到視差圖。

我不知道我是否正確或不正確。

有什麼建議嗎？謝謝。

Answer 1

是的，這是可能的。由於您的立體聲設置，您的相機和視野不同，我認爲您首先需要進行相機校準，校準後您對圖像進行如下修正。 Epipolar

在這之後，您將定期進行立體聲設置，並使用已知的相機幾何體。然後你可以提取差異。 有一個很好的教程在這裏：ROS Steroe Calibration