立體視覺三維重建 - 理論

Question

我目前正在閱讀立體視覺的主題，使用哈特利&齊默爾曼隨着一些論文，因爲我正在開發一個算法能夠創建兩個圖像的立面圖。

我想要拿出這種算法的基本步驟。這是我想我必須做的：

如果我有兩個圖像，我不知何故必須找到基本矩陣F，以便在後面的三角測量中找到所有點的實際高程值。如果攝像機被校準，則這很簡單，如果不是它稍微複雜一點（可以在H & Z中找到許多方法）。

有必要知道F以獲得極線。這些線用於在第一個圖像中查找第二個圖像中的圖像點x。

現在到了一部分是它得到對我來說有點混亂： 現在我就開始服用一個像點x_i中的第一張照片，並設法找到相應的點x_i’在第二張圖片，使用一些匹配算法。現在使用三角測量法可以計算真實世界點X以及它的高程。該過程將針對右側圖像中的每個像素重複進行。

在完美世界（無噪音等）三角將根據

x1=P1X x2=P2X

在現實世界中，有必要找到一種最適合的，而不是來完成。

對所有像素做此操作將導致完整的高程圖如需要，但某些像素將無法匹配，因此無法進行三角剖分。

最令我困惑的是我感覺Hartley & Zimmerman跳過關於如何獲得點對應關係（匹配？）的整個討論，並且除了本書外，我還閱讀了關於視差映射的論文根本沒有在H & Z中提及。不過，我認爲我正確理解差異僅僅是差異x1_i- x2_i？

這種方法是否正確，如果不是我在哪裏犯錯？

Answer 1

您的方法通常是正確的。

您可以將立體相機系統視爲空間中相對方向已知的兩個點。這是光學中心。在每個光學中心前面，您都有一個座標系。這些是圖像平面。當你找到兩個相應的像素時，你可以爲每個像素計算一條線，這個線通過像素和光學中心。在兩條線相交的地方，3D中有物體點。由於不完美的世界，它們可能不會相交，並且可以使用線彼此最接近的點。

存在幾種算法來檢測哪些點對應。

當使用視差時，需要對齊兩個圖像平面，使得圖像平行，圖像1中的每一行對應於圖像2中的同一行。然後，只需要在每行的基礎上搜索對應關係。然後，知道單個對應點在x軸上的差異也就足夠了。這就是差距。