如何使用Hadoop/Map-Reduce/etc？

我有一個程序，我希望通過將它分割到多臺計算機上進行計算。這是我可以用Hadoop或Map/Reduce完成的事情嗎？如果是這樣，我該如何開始使用它？使用那麼多臺電腦會花費多少錢？如何使用Hadoop/Map-Reduce/etc？

2013-12-20 user115566

根據算法的性質，您可以拆分程序。您應該拆分輸入數據，並在每個節點上將您的程序應用於該輸入的一個子集。也就是說，你應該實現一個數據並行。在每個節點執行相同的程序，但在一個較小的輸入。

我的建議，看看「Hadoop，權威指南」一書，前兩章可以幫助你更好地理解某些東西。如果您想嘗試簡單的MapReduce程序作爲WordCount，您可以下載Hortonworks沙箱，您可以在虛擬機上安裝該沙箱，並且您將非常快速地安裝單個節點的hadoop。這裏是鏈接http://hortonworks.com/products/hortonworks-sandbox/

來源

2013-12-20 03:46:42 jomazz

我問我怎麼使用它。我需要訪問計算機農場才能使用hadoop嗎？ – user115566

如何使用Hadoop/Map-Reduce/etc？

回答

相關問題