如何解決caffe中完全卷積網絡的過擬合

Question

我在caffe中有一個完全卷積網絡（特別是堆疊式沙漏網絡）。在每個卷積層之後，我有一個批量規範化和一個縮放層以及一個ReLU層。但是，我遇到了過度配合的問題。通常，我會增加我的數據集（這是不可能的），或者我會使用Dropout圖層，但是由於我已經讀過在完全卷積網絡中使用Dropout層沒有用，所以我不知道如何解決這個問題。除了我所提到的之外，還有什麼可以做的嗎？在這種情況下，可能會有所幫助？

Answer 1

這是我從互聯網上偷走的方便圖片。當您的深度學習模式出現問題時，這是一個方便的圖表。你說你聽說過輟學在Conv裏不好，但你有沒有測試過它？開始與正是如此進行：

1. 於CONV層添加輟學的大深度尺寸接近於輸出
2. 嘗試不會深。這是深入的反向，您應該在深入之前嘗試。確保你有一個簡單的模型，不會第一個，然後嘗試添加圖層。
3. 如果您仍然過度使用，並且您有退出，請嘗試通過讓您的後續Conv圖層沒有儘可能多的深度來移除神經元。
4. 做什麼Z.Kal說，通過變換你的數據集。
5. 如果所有這些都沒有影響，請接受這樣的事實，即您的架構可能是錯誤的。您已經深入瞭解它的一種方式，它可以逐字存儲所有您輸入的數據，而不會對其進行概括。考慮製作一個擠壓點，其中您有一個與輸入數據相比較小的圖層。