用於時間相關特徵的卷積神經網絡

Question

我需要從一系列圖像中進行降維。更具體地說，每個圖像是一個球移動的快照，最佳特徵將是它的位置和速度。據我所知，CNN是降低圖像分類功能的最新技術，但在這種情況下，只提供了一幀。是否有可能在不同的時間步驟提取許多圖像的時間相關特徵？否則，這是否是最先進的技術？

這是我第一次使用CNN，我也希望任何引用或其他任何建議。

Answer 1

如果你希望能夠有網絡莫名其妙地認識到發展是隨時間變化的，你應該考慮迴歸神經網（RNN）。由於您使用的是視頻，因此您應該查看循環卷積神經網絡（RCNN），例如：http://jmlr.org/proceedings/papers/v32/pinheiro14.pdf

重複會增加輸入數據以前狀態的一些內存。通過Karpathy看到這個很好的解釋：http://karpathy.github.io/2015/05/21/rnn-effectiveness/

你的情況，你需要有跨越多個圖像，而不是僅僅一個內圖像的復發。看起來你需要解決的第一個問題是圖像分割問題（​​能夠從圖像的其餘部分中挑選出球），而上面鏈接的第一篇文章討論了分割問題。 （然後，也許你試圖利用運動來識別運動物體？）

這裏有另外一個想法：也許你只能看看連續幀之間的差異，並將其用作輸入數據你的短信？輸入「圖像」然後將顯示移動物體在前一幀中的位置以及它在當前位置中的位置。更大的差異將表明更大的移動量。這可能會對使用經常性網絡產生類似的影響。