立體投影應該內部一致嗎？

Question

我正在研究一個問題，我有一個校準的立體聲對，並且正在識別立體聲匹配。然後，我使用perspectiveTransform來預測這些匹配項以給出我（x，y，z）座標。

後來，我使用projectPoints將這些座標重新投影到我原始的未經整理的圖像中，同時取得了我的左camrea的M和D參數。我很驚訝地發現，儘管所有這些發生在相同的校準內，但這些點並不投影在圖像的正確部分（它們具有大約5個像素的偏移量，取決於它們在圖像中的位置）。這種偏移似乎隨着不同的校準而改變。

我的問題是：我應該期待這一點，還是我可能做錯了什麼？看來校準應該是內部一致的。

這裏只是一個單點的截圖被重新映射（與兩線畫出的）：

（忽略的小盒子，這些都是別的東西）

Answer 1

我在做什麼有一點錯誤。當從3D重新投影到2D時，我錯過了stereoRectify返回R1，輸出整流旋轉矩陣。當致電projectPoints時，我需要通過該矩陣的逆作爲第二參數（rvec）。