直播（插座） - 如何同步音頻和視頻？

Question

1-哪一個更適合流式傳輸視頻？ TCP或UDP套接字，爲什麼？當流媒體直播時，音頻和視頻分別來自服務器，所以我如何確保我顯示的視頻和我在設備上播放的音頻同步？

Answer 1

前段時間我寫了一個語音聊天應用程序，而TCP無法解決問題，如果您正在尋找接近實時的數據流，UDP多播真的是唯一的選擇。有有雖然流的東西在UDP上兩個主要問題：

1. 丟包。在音頻的情況下，這是一個非常簡單的修復。通常丟棄的數據包不會產生可聽見的差異（數據包單獨解壓縮）。然而，在處理視頻時，尤其是在視頻被壓縮（通常是視頻）的情況下，找出一個合適的傳輸協議來確保網絡的穩健性是一項艱鉅的任務，尤其是如果您是從頭開始的話。視頻幀被分成不同的數據包。弄清楚這些數據包丟失後該怎麼做很難。
2. 音頻和視頻之間的同步。這是一個非常棘手的問題，我建議閱讀RTSP（實時流協議）等協議。這不是一件容易的事，但是這裏有一些介紹性的信息：http://www.cs.columbia.edu/~hgs/rtsp/ - 有時它通過發送單獨的同步數據包（某些協議通過TCP發送這些數據包）告訴播放器聲音應該如何與視頻匹配。

Answer 2

我會做UDP。然而這取決於你想要什麼。 UDP將丟棄數據包而不是等待（TCP）。權衡是你是否想要一個穩定的，但有時是緩慢和昂貴的，或者是有效的，但有時可能無法交付。當你想要實現它以及你如何使用它時，選擇是你的。

Answer 3

今天甚至YouTube的流通過HTTP ...這裏是一個應用程序的NodeJS哪些流文件瀏覽器客戶端...使用爲出發點與音頻流媒體直播視頻很好地同步

// usage 
// do following on server side (your laptop running nodejs) 
// node this_file.js 
// 
// then once above is running point your browser at 
// http://localhost:8888 
// 
// of course your browser could be on your mobile or own custom app 



var http = require('http'), 
    fs = require('fs'), 
    util = require('util'); 

var path = "/path/to/audio/or/video/file/local/to/server/cool.mp4"; // put any audio or video file here 

var port = 8888; 
var host = "localhost"; 

http.createServer(function (req, res) { 

    var stat = fs.statSync(path); 
    var total = stat.size; 

    if (req.headers.range) { // meaning client (browser) has moved the forward/back slider 
             // which has sent this request back to this server logic ... cool 
    var range = req.headers.range; 
    var parts = range.replace(/bytes=/, "").split("-"); 
    var partialstart = parts[0]; 
    var partialend = parts[1]; 

    var start = parseInt(partialstart, 10); 
    var end = partialend ? parseInt(partialend, 10) : total-1; 
    var chunksize = (end-start)+1; 
    console.log('RANGE: ' + start + ' - ' + end + ' = ' + chunksize); 

    var file = fs.createReadStream(path, {start: start, end: end}); 
    res.writeHead(206, { 'Content-Range': 'bytes ' + start + '-' + end + '/' + total, 'Accept-Ranges': 'bytes', 'Content-Length': chunksize, 'Content-Type': 'video/mp4' }); 
    file.pipe(res); 

    } else { 

    console.log('ALL: ' + total); 
    res.writeHead(200, { 'Content-Length': total, 'Content-Type': 'video/mp4' }); 
    fs.createReadStream(path).pipe(res); 
    } 
}).listen(port, host); 

console.log("Server running at http://" + host + ":" + port + "/");