我試着在我的主機上運行YARN(下一代mapreduce)好幾天。
首先,使用svn或git從apache.org獲取源代碼。採取svn的,例如:
svn co https://svn.apache.org/repos/asf/hadoop/common/branches/branch-0.23.0
然後,產生月食使用maven(你應該將這個步驟之前配置主機上manve3。)
mvn test -DskipTests
mvn eclipse:eclipse -DdownloadSources=true -DdownloadJavadocs=true
相關文件,現在你可以導入現有的Maven項目到Eclipse (你應該在Eclipse中首先配置Maven插件。)
在Eclipse:文件 - >導入現有Maven項目
Choose "Existing Projects into Workspace"
Select the hadoop-mapreduce-project directory as the root directory
Select the hadoop-mapreduce-project project
Click "Finish"
由於class_path/build_path沒有正確配置,並且沒有包含所有依賴包/類,所以我嘗試了很多次。嘗試「添加外部類文件夾」並選擇當前項目的構建目錄在項目屬性中,如果遇到與我相同的問題。
更新時間:2012-03-15
我現在可以在Eclipse中運行紗線(同Hadoop0.23)。
首先,你應該編譯/由exec命令成功打造紗:
mvn clean package -Pdist -Dtar -DskipTests
對於我只關心如何,我在Linux終端運行我的一臺主機上HDFS調試紗的原因,不在日食。
bin/hdfs namenode -formate -clusterid your_hdfs_id
sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode
然後,將hadoop 0.23導入eclipse並找到resourcemanager.java,接下來就是在eclipse中運行這個類。詳細步驟:
在eclipse中運行Nodemanaer與運行Resourcemanager相同。添加新配置並使用「--config your_yarn_conf_dir」填充參數,然後按運行按鈕。
快樂編碼〜!
我已經安裝在Eclipse中0.23的項目,我很感興趣,也開始調試在Eclipse的守護進程。 –
對不起,我從來沒有在Eclipse中運行yarn守護進程,除了在控制檯中使用命令。我也想知道如何在eclipse中逐步調試紗線。我會盡量通過分析yarn-daemons.sh文件來獲取它。 @PraveenSripati – nourlcn