基於光流的分割

Question

嗨我想分割基於光流的視頻序列中的對象（as suggested in this answer），我正在使用opencv並且已經能夠使用calcOpticalFlowFarneback函數生成兩個連續幀的流場。有人可以解釋我將如何去分割基於這個流場的圖像嗎？

Answer 1

由於您想使用光流來細分物體，所以您的決策將基於您的物體的運動類型進行...您可以查看this video on youtube。您可以測量每個感興趣像素在兩個連續幀中所經歷的位移的方向和大小，以瞭解它們的運動模式。在視頻的鏈接中，汽車在光流的基礎上從背景中分割出來...

Answer 2

一個非常直接的方法是提供具有基本事實的關鍵幀的算法。這意味着，手動分割第一幀（您可以在此處使用抓取），然後使用光流將分割傳播到後續幀。

需要注意的是，光流出錯容易出錯。因此，不要直接使用傳播分割，您可以侵蝕（使用某些結構化元素）傳播的分割，並使用被侵蝕的圖像作爲grabcut的前景種子。同樣，擴大傳播的segementation並使用圍繞擴張邊界的帶作爲背景種子。

總之：對於第一幀給出的基本事實，用它來自動執行後續幀的抓取。

這有幫助嗎？