立體視覺避障

Question

我正在研究基於立體攝像頭的移動機器人避障系統。它將在室內使用，所以我正在假設地面飛機是平坦的。我們也可以設計我們自己的環境，所以我可以避免產生誤報或負面的特定類型的障礙物。

我已經找到了大量資源來校準攝像機並獲取圖像排列，以及有關生成視差圖/深度圖的信息。我正在努力的是從中檢測障礙的技術。一種通過檢測地平面而工作的技術將同樣有用。

我正在使用openCV，並使用本書學習OpenCV作爲參考。

感謝，所有

Answer 1

從我讀過的文獻，主要有三種途徑：

1. 地平面接近從立體聲數據來確定地面上並假設所有點那些不在飛機上的是障礙物。如果假定地面是圖像中的主要平面，那麼您可以使用強大的模型擬合算法（如RANSAC）將其簡單地找到重建點雲的平面。

2. 視差圖方法跳過將立體輸出轉換爲點雲。我見過的最流行的算法叫做v-disparity和uv-disparity。兩者都在視差圖中尋找相同的屬性，但是uv-disparity可以檢測到v-視差本身無法解決的某些類型的障礙。

3. 點雲方法將視差圖投影到三維點雲並處理這些點。一個例子是「倒錐形算法」，該算法使用最小障礙物高度，最大障礙物高度和最大地面傾角來檢測任意非平坦地形上的障礙物。

在這三種方法中，檢測地平面是最簡單和最不可靠的。如果你的環境有稀疏的障礙和質地，那應該就足夠了。我對差異圖方法沒有太多經驗，但結果看起來很有希望。最後，Manduchi算法在最廣泛的條件下工作得非常好，包括在不平坦的地形上。不幸的是，實現起來非常困難，而且計算量非常大。

參考文獻：

• V-視差：Labayrade，R。和Aubert的，D。和Tarel，通過V-視差表示
JPReal時間障礙物檢測在對非平坦的道路幾何立體視覺
• UV-差距：胡錦濤，Z.和內村，K.UV-差距：一個高效的算法基於立體視覺場景分析
• 倒錐形杆背一算法： Manduchi，河和卡斯塔諾，答和塔盧克德，答和馬蒂斯，湖。自主越野導航的障礙物檢測和地形分類

有幾篇關於地平面障礙物檢測算法的論文，但我不知道我頭上有一個很好的論文。如果你只是需要一個起點，你可以閱讀我在第4.2.3節最近的項目和this design report第4.3.4節的實施。沒有足夠的空間來討論完整的實施，但它確實解決了您可能遇到的一些問題。