我可以使用JavaScript做一些實時媒體解碼嗎？

Question

我已經實現了從MJPEG文件中提取JPEG格式幀的MJPEG/AVI1分析器。

我可以在DOM上使用提取的JPEG文件繪製圖像，<canvas>元素，我也可以使用context.getImageData從其中導出圖像像素數據。

我可以製作某種視頻流並實時添加這些提取的數據，以便用戶可以播放它沒有很長的延遲？我知道我可以手動進行的<視頻>般的UI與<帆布>元素，但我發現，媒體來源擴展目前允許本地<視頻>標籤接收編碼的字節流格式。我很好奇，如果我能用原始像素數據做到這一點。

Answer 1

這是一個有趣的想法。

所以首先，你需要創建到mp4初始化段。從那裏你可以將解碼後的jpg YUV幀轉換爲h.264幀。然後從幀中創建一個MSE片段。但是，您不需要對h.264進行「編碼」，您可以使用原始切片，如本文所述。

http://www.cardinalpeak.com/blog/worlds-smallest-h-264-encoder/

這應該都是在javascript可行的，在瀏覽器中，具有足夠的工作。