如何檢測聲音文件中的某些聲音並執行與其同步的操作？

Question

我正在爲班級申請（作爲團隊的一部分），其中的想法是幫助您學習彈鋼琴。樂器的圖像顯示在屏幕上，我們有一些課程Octave，你在鋼琴的某個八度音階，這樣你可以突出顯示適當的琴鍵。例如，您會告訴highlight該方法的注意事項，並且它知道要突出顯示圖像的哪個部分，因爲始終存在要檢查的活動Octave對象，該對象通過距圖像開頭的距離來查找該關鍵點。到目前爲止，這部分沒有問題，我知道（這是我的團隊成員的責任）。

我想要完成的是在用戶選擇適當的選項後播放聲音文件（例如音階或歌曲），但是鍵應該在屏幕上與正在播放的正確音符同步地突出顯示。這正是我的問題;我不知道如何解決這個問題，並且對類似案例的搜索並沒有幫助。

所以我問的是，如果有人可以建議我應該如何做到這一點？理想情況下，它應該是通用的（獲得高質量的聲音文件並突出顯示正確的音符，而不是爲每個要添加的文件編碼），因此可以通過某種方式來檢測正在播放的音符和音高用來確定哪個音符在哪個八度音階中，然後我可以很容易地將這些信息與其他類一起使用。這只是我的想法，我認爲它可能會得到解決，但我願意接受其他可能更好的解決方案。預先感謝您的任何建議！

Answer 1

你在問什麼可以是真的很難，特別是在一般情況下。

實際上，你要求的是Automatic Music Transcription。時下，自動音樂轉錄精度is similar to text-to-speech：不是很好。

你應該做的

什麼音樂學習應用程序，你應該考慮使用一個已經寫好的轉錄。例如，您只需閱讀描述歌曲中的音符的a midi file，然後使用MIDI文件中的信息高亮顯示鋼琴的音符。

如果你真的想自動音樂轉錄

然後，你應該通過reading papers of folks who did it啓動，並接受accuracy of about 80%...。