2013-02-10 90 views
0

我只是有一個小小的懷疑。我正在使用Hadoop和map reduce。我使用yahoo-vm機器來製作地圖縮減應用程序,該應用程序也附帶了eclipse插件。但是當我自己試圖在計算機上單獨安裝hadoop時,即使經過很多次嘗試,我仍然無法建立eclipse和HDFS之間的鏈接。我想知道的是建設這些應用程序所需的Eclipse嗎?因爲我發現它在提交輸入和接收HDFS輸出時很有用。甚至可以通過地圖搶救的自動化來實現。不使用Hadoop Eclipse插件工作

回答

1

MapReduce程序就像任何其他的Java程序一樣,它們可以在記事本,vi或任何最喜歡的編輯器中開發。像NetBeans和Eclipse這樣的IDE使得Java程序的開發更容易。

Here是一個在不使用Hadoop插件的情況下在Eclipse中開發/調試Hadoop MapReduce程序的博客條目。一旦在Eclipse中開發/調試了該程序,就必須創建一個jar文件,然後使用hadoop jar .....命令將其提交到Hadoop集羣。

1

您當然不需要eclipse或任何插件來開發在Hadoop上運行的MapReduce作業。您可以啓動Hadoop deamons,將輸入數據複製到羣集並從控制檯提交MR作業。各種插件只會幫助您創建,執行和調試MR作業。

在最小的設置中,可以使用Eclipse(或任何其他IDE)編寫代碼並將最終項目導出到JAR。你只需要在項目的類路徑中引用hadoop罐子。