將素描（繪畫）臉部照片與數碼彩色照片相匹配

Question

我要將素描臉部（繪畫照片）與彩色照片相匹配。所以爲了研究，我想找出匹配草圖繪製到彩色面孔的挑戰是什麼。現在我已經發現，

1. 分辨率像素差
2. 質地差
3. 距離差
4. 和顏色（沒有太大的作用）

我想知道（在技術術語）什麼是其他的挑戰和有哪些可用的方法和算法來克服這些挑戰？

這裏是草圖的一些例子，已知的照片與它們匹配：

Answer 1

你能給特徵臉一試，雖然我從來沒有與素描測試他們，我認爲他們可以最小成爲你研究的好起點。

參見維基：http://en.wikipedia.org/wiki/Eigenface和教程OpenCV的：（！不僅包括特徵臉）http://docs.opencv.org/modules/contrib/doc/facerec/facerec_tutorial.html

Answer 2

我認爲詹姆斯長輩的上邊緣地圖的完整性舊的工作（使用通過求解拉普拉斯方程重建）是這裏非常相關。請參閱本白皮書結果：http://elderlab.yorku.ca/~elder/publications/journals/ElderIJCV99.pdf

Answer 3

此問題被稱爲多模式人臉識別。將高質量照片（模式1）與低質量監視圖像（模式2）進行比較，另一個是正面圖像到配置文件，或者像OP所感興趣的草圖一樣，有很多興趣。偏最小二乘（PLS） ）和綁定因子分析（TFA）已被用於此目的。

一個關鍵的難點是計算模態1（和模態2）中圖像的兩個線性投影到兩個點相近的空間意味着個體是相同的。這是關鍵的技術步驟。這裏有一些關於這種方法的論文：

1. Abhishek Sharma，David W Jacobs：Bypassing Synthesis: PLS for Face Recognition with Pose, Low-Resolution and Sketch。 CVPR 2011.
2. S.J.D. Prince，J.H. Elder，J. Warrell，F.M. Felisberti，Tied Factor Analysis for Face Recognition across Large Pose Differences，IEEE Patt。肛門。馬赫。 Intell，30（6），970-984，2008. Elder是這方面的專家，有a variety of papers on the topic。
3. B.克萊爾李正東和A. K.耆那教，Matching forensic sketches to mugshot photos，IEEE模式分析與機器智能，29 九月2010

正如你可以理解這是一個活躍的研究領域/問題。就使用OpenCV來克服困難而言，讓我給你一個比喻：你需要建造一座房子（將草圖與照片相匹配），並且你問如何使用赤柱錘（OpenCV）來幫助。當然，這可能會有所幫助。但是，您還需要很多其他資源：木材，時間/金錢，管道，電纜等。

Answer 4

OpenCV可用於此任務所需的特徵提取和機器學習。我想你可以從上面的答案中的論文開始，從一些基本特徵開始，並使用OpenCV對分類器進行原型設計。

我想你可能也想檢測和匹配臉上的特徵點。如果你使用這種方法，你將不得不自己做特徵點檢測器（在OpenCV中使用自己的數據訓練Viola-Jones檢測器是一種選擇）。