Tensorflow：是否比實時數據預處理更快地對TFRecord文件進行預處理？

Question

在Tensorflow中，似乎預處理可以在培訓時間，從原始圖像（或數據）創建批次或圖像已經是靜態時完成。鑑於理論上，預處理應該大致相等的時間（如果他們使用相同的硬件實現），有在訓練比訓練時做之前數據預處理（甚至數據擴張）任何實際缺點實時？

作爲一個側面的問題，如果在訓練期間沒有完成數據增強甚至可以在Tensorflow中完成嗎？

Answer 1

我一直想知道同樣的事情，並對我在培訓期間的圖像處理性能感到失望。我花了一段時間才意識到圖像處理可能會有多大的開銷。

我將使自己成爲一個很好的脂肪多汁預處理/增強數據文件。一夜之間運行，然後在第二天進來，效率提高兩倍！

我正在使用一臺GPU機器，對我來說，看起來很明顯，逐個模型構建是一條路。但是，如果您有不同的硬件，則工作流程數學可能會有所不同。例如，在我的Macbook-Pro tensorflow上速度很慢（在CPU上）並且圖像處理速度很快，因爲它是在筆記本電腦的GPU上自動完成的。現在我已經轉移到了適當的GPU機器上，張量流速運行速度提高了20倍，圖像處理成爲瓶頸。

只需計算出您的增強/預處理將花費多長時間，計算出您將多長時間重複使用一次，然後再進行數學計算。