剪影的臉部偏航角估計

Question

我想通過使用分割信息來估計臉部的姿態 - 只有偏航角。簡而言之，臉部圖像已被分割爲「頭髮」，「皮膚」和「背景」像素。這些的基礎是可用的。面部大致居中。這個例子的例子是here。

試圖在訓練集500圖像上從分割圖像到偏航角度等級（最左邊= 1到最右邊= 500，比如說）進行迴歸。

我基本上想在這裏拋出一些想法並獲得一些反饋。 （希望這不會被視爲「無構造」）。

• 可以通過圖像左側有多少頭髮和皮膚像素 - 一些關於圖像中心軸的矩的形式可以看到偏航角的現成估計值。這種東西在paper中報道過。但實現它（基本上是一個二次迴歸方案，使用關於圖像中心垂直線的皮膚像素和頭髮像素矩）給出相當嘈雜的結果

• 我對卷積分神經網絡結構用於2類問題/非面部分類）訓練的左側姿勢和右側姿勢圖像。分類是相當不錯的〜70％的準確性，只有250個訓練和250個測試樣本。然而，迴歸到平滑變化的姿勢值再次給出相當嘈雜的結果

  相當有利。考慮實現某種8方向鏈式編碼的直方圖，類似於HOG，而是用於分割圖像....或者可能使用傅立葉描述符對邊界進行編碼，並訓練神經網絡以學習分割和分割之間的非線性關係姿勢。

  我可以針對這個問題得到一些反饋意見嗎？它是我正在做的一項獨立研究（足夠用我平常的領域 - OCR和文本檢測）。

Answer 1

好吧，我可以告訴你爲什麼圍繞中心線的時刻永遠行不通：看this圖像，或that之一，你明白爲什麼在你引用的文件所有的例子都是人們與短或對稱髮型，以及爲什麼它的標題以「Toward」開頭。

但是，嚴重的是，這是一些教科書還是面試問題？正如「讓我們看看我們有多少好的信息，並且可以拋棄一切，並且仍然通過投擲計算能力來獲得某種半準的準答案？」。 如果這是一個真實世界的應用程序，我建議再仔細觀察一下您可用的圖像，並找出可以從中提取出與臉部姿勢有關的其他功能。