同步從Mediacodec解碼音頻和視頻數據

Question

我想用MediaExtractor和MediaCodec API編寫簡單的音頻/視頻播放器。

我能夠解碼並呈現audio和video。 但是，我錯過了audio - video同步。

我找不到任何API來控制audio和video之間的同步。 有人可以告訴我，如何同步解碼audio和video數據？

Answer 1

在Android源代碼中，有一個基於MediaCodec API的示例player引擎實現。您可以檢查位於frameworks/av/cmds/stagefright/SimplePlayer.cpp的SimplePlayer。

在此播放器引擎實現中，MediaCodec的輸出爲dequeued，並按here所示推送到隊列中。請查看第439-450行以獲得完整的圖片。

一旦緩衝區可用，有一個簡單的AV Sync機制實施here。請參閱508-521行。在這個例子中，只考慮一個軌道，因此nowUs即當前時間從systemTime導出，即ALooper::nowUs。

在你的代碼，你可以考慮在first-come-first-serve基礎，併爲您的video跟蹤渲染audio始終，您可以得到的nowUs從audio軌道。

一個簡單的實現可能是nowUs = getAudioLastPresentationTime()其中，getAudioLastPresentationTime將返回從audioMediaCodec發送到audio renderer最後presentationTimeUs。