如何將matlab與hadoop集成

Question

我對分佈式圖像處理感興趣。我有一個包含32個節點的Hadoop集羣，我希望在節點上分發圖像，處理它們，然後從每個節點收集結果（更像是map-reduce）。 請解釋分佈式圖像處理的所有可能方式（如使用matlab分佈式服務器，使用Hadoop集羣等）。

Answer 1

我不確定Matlab以及它如何從中導出數據，但對於Hadoop端，我建議您使用Hadoop Storm服務。您可以在Kafka消息代理中爲您的圖像組織一個網關。在那裏你可以推動你的圖像。在Storm中，您可以爲圖像創建自定義工作流程。例如，您可以對它們執行一些計算機視覺算法，或者將它們保存到HDFS或HBase或任何其他相關存儲。如果您能夠將數據從mathlab導出到Kafka，也許通過一些獨立的服務，那麼Storm絕對是您的選擇。

Answer 2

MATLAB有一個mapreduce函數，您可以使用Hadoop集羣。在Parallel Computing Toolbox文檔中描述了here - 該頁面顯示瞭如何在Hadoop集羣上運行mapreduce的完整示例。您需要桌面客戶端上的並行計算工具箱許可證，以及Hadoop集羣的許可證MATLAB Distributed Computing Server。