簡單網絡攝像頭鼠標

Question

對象： -如何使用可見光實現網絡攝像頭鼠標。

詳情： -會有一個網絡攝像頭看到我的右手在可見光如下i.stack.imgur.com/6ztqf.jpg： -

我想打一個系統，我會用我的（右）手控制鼠標指針的方式與在那裏有實際的鼠標相同。我會把手放在桌子上，就像我手上有一隻真正的老鼠，並且會像我手中拿着一隻老鼠一樣，做所有我會做的事情。並且會有一個正常的網絡攝像頭（可能是精確度較高的分辨率），從上方以一定角度觀看我的手。

假設我有神奇的機器學習系統來做到這一點。 （我可以接受一切有點像的限制，固定攝像機位置的時候，在有限的矩形鼠標移動所有的時間等）

在訓練階段，在訓練階段，我會用我的實際鼠標正如我通常會這樣做並生成大量數據。數據將包含大量圖像作爲輸入，鼠標位置，點擊作爲輸出。我在任何方面都很靈活，就像我可以添加兩個麥克風來檢測點擊聲音一樣，以確保有一個點擊（但是當我敲擊桌面上的手指以模仿鼠標點擊時，鼠標與實際鼠標單擊的聲音不同於聲音用我的隱形鼠標，但聲音的存在將確保有一個點擊，並且兩個麥克風會確保它是左鍵單擊或右鍵單擊。）現在，利用所有這些數據，我的系統將學習圖像之間的關聯我的手和鼠標動作（在第一個版本中可能不太準確）。

在運行階段我將刪除鼠標，並將我的手放在與如果有鼠標時相同的位置，並開始使用此係統將我的手圖像轉換爲鼠標操作。我會在桌子的2D平面上移動我的手指，然後移動手指，就像我在右/左鍵單擊一樣。我的系統應該實時拍攝圖像，並且應該在訓練階段收集的所有數據的幫助下將這些圖像轉換爲鼠標動作。

請幫助我，我怎麼能建立這個，我有計算機視覺和機器學習的平均知識看到這個圖像（我的網絡攝像頭會看到這些類型的圖像）

Answer 1

不要試圖使用ML算法學習圖像與鼠標動作之間的關聯。最好在訓練圖像中定義手中的幾個關鍵點（例如，手的中心或手指尖）。訓練迴歸者在圖像內搜索這樣的關鍵點。解決類似任務的示例（搜索面部關鍵點，例如眼睛或鼻尖）：http://danielnouri.org/notes/2014/12/17/using-convolutional-neural-nets-to-detect-facial-keypoints-tutorial/

比您只使用關鍵點硬編碼操作。例如'鼠標指針應該位於與手中心相同的位置'。

最後，你在'戰鬥模式'中使用訓練好的迴歸者 - 它識別圖像中的關鍵點，並且所需動作以編碼方式執行。