使用梯度上升進行圖像分割

Question

我正在使用梯度上升使用顯着圖進行圖像分割。 這是一個過程的圖像：http://imgur.com/a/h8vBZ

我有一個訓練有素的模型，可以準確地預測我的課程。然後使用該模型來計算具有梯度上升和損失的輸入圖像的梯度。對我而言，這裏產生的梯度表示模型在預測中的重點。

我運行一個分位數篩選器來挑選與類最相關的梯度值（像素），然後從中產生一個二進制掩碼。這很好，但是發現地圖可以更準確和更緊密地圍繞圖像中的課程。我讀了關於條件隨機場作爲一種機制來產生更準確和平滑的分割結果，並試圖實現這一點，但感覺好像我沒有對這裏產生的梯度有完全的理解。

我的問題是：在這種情況下，梯度究竟代表什麼？我的猜測是這些值本質上是像素級預測/像素標籤。這相當於一元潛力嗎？

Answer 1

有一種端到端的訓練方法，將神經網絡與CRF結合起來，完成您想要的功能。這篇論文是這樣的：https://arxiv.org/pdf/1611.10229.pdf。

Answer 2

我有兩個建議，根據您的示例圖像。像素標籤和電位之間的差異在本教程中描述的非常好：Demo Train

1. 分位數過濾器在對象上溢出。我懷疑你將圖像值標準化到[0..255]的範圍，並在感興趣的對象的位置有這個「波浪效果」。如果您首先將圖像值縮小一個小於1的因子（例如0,5或0,1），則可以將它們正常化爲範圍[0..255]並使用閾值提取更準確的類別區域。
2. 您可以爲您的CRF嘗試高級成對電位。例如對比度敏感電位，甚至是concatenated edge potentials。它們可以幫助更準確地完善類對象。 此外，值得嘗試添加更多功能來訓練一元潛力。 HOG或稀疏編碼功能可能會有所幫助。