從光流跟蹤功能計算目標點

Question

我需要精確跟蹤眼睛周圍的9個點。我檢測到眼睛的臉部並計算點（眼睛的中心等）。由於這些點不是很好的跟蹤功能（它們通過光流很快就會丟失），我還從面部區域（SURF/goodFeaturesToTrack）中提取特徵，並將這些特徵用於KLT。我的目標是從其他跟蹤點中確定9個興趣點/從最初的9個點使用其他跟蹤點恢復丟失點。我最初的想法是我可以用光流計算位移並將其用於目標點，但是我沒有得到好的結果（嘗試了位移的平均值，顯然是不正確的）。我的問題是：是否可以這樣做？如果是這樣，我應該如何將目標點與追蹤特徵關聯起來，以便我可以在後續幀中再次獲取它們？

Answer 1

在您的跟蹤中，而不是跟蹤單個像素，您可以在每個像素周圍創建一個區域 如果p1是要跟蹤的點使用周圍像素創建區域並選擇好的特徵來跟蹤和跟蹤所有這些特徵點。從這些跟蹤點計算p1的平均運動。如果在該區域丟失了一些點，您可以輕鬆構建下一次迭代跟蹤的周圍點。

在這種類型中丟失點的概率很低。丟失點重建非常容易。