計算相應的像素

Question

我有兩臺相機設置了計算機視覺。其中一臺相機是飛行時間相機。它給了我每個像素場景的深度。另一臺攝像機是標準攝像機，爲我提供了場景的彩色圖像。

我們想使用深度信息從彩色圖像中刪除一些區域。我們計劃在彩色圖像中進行物體，人員和手部跟蹤，並希望藉助飛行時間攝像機的幫助來移除遠處的背景像素。目前尚不確定攝像機是否可以平行設置。

我們可以使用OpenCv或Matlab進行計算。

我讀了很多關於校正，Epipolargeometry等，但我仍然有問題看我必須採取的步驟來計算每個像素的對應關係。

你會用什麼方法，可以使用哪些功能。你會在哪些步驟中分解問題？有沒有可用的教程或示例代碼？

更新我們打算做使用放置在場景

Answer 1

如果你想健壯對應已知標記的自動校準，你應該考慮SIFT。在MATLAB中有幾種實現 - 我使用Vedaldi-Fulkerson VL Feat library。

如果你真的需要快速的性能（我想你沒有），你應該考慮使用OpenCV的SURF探測器。

如果您有任何其他問題，請詢問。我的This other answer可能會有用。

PS：通過書信，我假設你想找到既您的圖像相同的3D點的投影座標 - 即在圖B的座標在圖像中的像素u_A的(i,j)和u_B這是3D中同一點的投影。