是否可以在瀏覽器中訪問實時音頻流？

我想爲失聰人士編寫一個網絡應用程序，讓他們鍵入作爲打電話的方式。目標是讓聾人能夠在網頁中輸入電話號碼，發起電話，實時將接收端的語音轉錄爲文本，並將響應端的文本實時轉換爲語音。是否可以在瀏覽器中訪問實時音頻流？

我打算使用Twilio進行通話，捕捉音頻流，使用語音識別API來轉錄語音，並使用Twilio的文本轉語音功能來轉換文本。

我知道Twilio沒有執行實時轉錄的功能，我似乎無法找到通過twilio.connection對象訪問音頻流的方法。因此，我正在考慮使用媒體捕獲API捕獲該語音。那可能嗎？

2017-02-26 Angelo

這是一個有點廣泛用於在計算器上的一個問題訪問。藉助媒體捕獲API，您可以訪問用戶[媒體流]中的曲目（https://w3c.github.io/mediacapture-main/getusermedia.html#mediastreamtrack），使用WebRTC，您可以獲得關於您在連接中收到的傳入媒體流。 – philnash

@philnash我只是將問題擴展到更多細節。我現在正在閱讀WebRTC規範。我似乎應該能夠通過MediaStreamTrack對象訪問音頻流？請讓我知道我是否應該提供更多細節。 – Angelo

你可能想看看[這個例子]（https://github.com/szimek/webrtc-translate）。它不使用Twilio，但它確實使用WebRTC和語音識別來進行（幾乎）實時語言翻譯。 – philnash

是的，這是可能的。但可能會有一些瀏覽器依賴。 Simple示例可以在這裏找到。代碼會是這樣的。

var constraints = { 
     video: true, 
     audio: true, 
    }; 

    if(navigator.mediaDevices.getUserMedia) { 
     navigator.mediaDevices.getUserMedia(constraints).then(getUserMediaSuccess).catch(errorHandler); 
    } else { 
     alert('Your browser does not support getUserMedia API'); 
    }

來源

2017-02-27 08:20:37

它是通過Twilio設備API

Twilio.Device.activeConnection().mediaStream

來源

2017-02-27 18:54:26

是否可以在瀏覽器中訪問實時音頻流？

回答

相關問題