如何訓練TensorFlow（或Keras或Caffe）模型來檢測物體及其與相機的距離？

Question

我有標記的圖像，只有一個類（汽車），並從相機在拍攝照片的瞬間各自距離1000的數據集。

我想訓練一個TensorFlow（Keras或Caffe示例也可以）模型來檢測其他車輛（我已經知道如何），但是也儘量準確地預測它們與攝像頭的距離給出從數據集中學到的東西。

有什麼想法？

謝謝！

Answer 1

原則上它不會改變很多形式的檢測類的對象的問題。您必須擁有一個包含對象類型和距離的數據集才能進行訓練。

但是，不要求精彩的準確性距離是不直接編碼在圖像中的東西。沒有辦法真正瞭解遠處的大球或近距離的小球之間的差異。 知道對象的類別可以幫助，因爲特定的對象具有典型的大小。所以椅子的尺寸非常標準，所以圖像中的相對尺寸可以更好地解釋爲距離。

另一件可以幫助的事情是讓多臺攝像機在配置中，就像我們的眼睛。在這種配置中，你可能甚至不需要訓練模型。相機之間的圖像位移應足以說明屏幕上所有物體的距離。可能有開源軟件來實現這一點。

至於第一個想法的實現。你應該建立一個張量流圖來提取特徵。併爲分類創建一些額外的圖層，併爲預測距離創建一些額外的圖層。 （搜索多頭網絡的更多詳細信息）

你的問題是相當vage，所以我真的不能給出更具體的答案，使用什麼架構或類似的東西。

Answer 2

爲了估計以下方法可以用於距離：

1. 使用立體攝像機。在這種情況下，距離使用圖像位移
2. 使用深度從單聲道模型來計算。這通常是在相應的標記數據上訓練的深度神經網絡。
3. 如果校準照相機假設「扁平的世界」時，距離可以從邊界框的高度位置來估計。在這種情況下，bbox的最低點投影在虛擬的地平面上。