是否可以使用流處理引擎（如Storm）構建轉碼和流式應用程序？

我很想知道使用SPE構建這樣一個系統是否可行或好主意。在我們的實驗室中，我們使用mkvtoolnix和Xuggler庫爲代碼轉換開發了基於20個節點的羣集的基於Hadoop的基於代碼轉換和流式服務的。它工作得很好。不過，我並不十分熟悉Storm在轉碼等多媒體操作中的使用。我只知道Storm大量用於實時大數據分析。我的系統旨在處理來自視頻傳感器的實時視頻數據（從各種視頻格式轉換爲mpeg4），同時它應該能夠將轉碼後的視頻塊傳輸到儀表板。是否可以使用流處理引擎（如Storm）構建轉碼和流式應用程序？

我怎樣才能達到這個使用風暴，或任何建議如何建立這樣一個系統非常歡迎！

來源

2015-09-25 Humoyun

如果你有一個正在運行的實現使用Hadoop，你爲什麼要切換到Storm？你的MapReduce程序有什麼「本質」？它是一大堆Map-Reduce作業還是一個Map-Reduce作業，甚至是一個Map-only作業？ mkvtoolnix和Xuggler如何工作？是否適用於整個視頻流或單幀？或者也許是使用了一些窗口技術？ –

基本上，它是一個MR作業鏈，並且它們以單一幀率應用 – Humoyun

從工作Hadoop實例轉移到Storm的原因是我的教授的願望，他並不關心它是對還是不對，他只是想要我使用Storm來實現它。但我不確定Storm是否適合這種用法 – Humoyun

使用風暴應該相當簡單，似乎是一個不錯的選擇。您可以將每個幀編碼爲單個元組，並將所有地圖進行轉換，並將代碼減少到單個拓撲內的螺栓。作爲連接模式，您可以使用shuffleGrouping作爲「map-bolts」，使用fieldGrouping作爲「reduce-bolts」。

來源

2015-09-26 04:39:10

是否可以使用流處理引擎（如Storm）構建轉碼和流式應用程序？

回答

相關問題