在Hadoop集羣上運行mapreduce jar

我試圖在Hadoop上運行二次篩選算法的map reduce實現。爲此，我使用Netbeans的karmasphere Hadoop社區插件。該程序使用插件工作正常。但是我無法在實際的集羣上運行它。我運行此命令在Hadoop集羣上運行mapreduce jar

   bin/hadoop jar MRIF.jar 689

凡MRIF.jar是通過構建NetBeans項目和689是被考慮號碼的jar文件。輸入和輸出目錄在程序中是硬編碼的。當在實際集羣上運行時，看起來內部Java類沒有被處理，因爲在地圖自身爲0％之前，reduce會完成到100％。輸入和輸出文件是在沒有內容的情況下創建的。

但是，使用Karmasphere插件運行時可以正常工作。

來源

2011-04-08 anurag-jain

嘗試運行它爲bin/hadoop -jar MRIF.jar 689。 -jar強制它運行本地並顯示信息到控制檯以及日誌到該機器。您還可以檢查Hadoop日誌，看看他們是否有任何指示爲什麼沒有正確發生。

使用-jar時，您可以使用System.out.println(...);在控制檯上顯示信息，進一步幫助調試。

您還可以使用Hadoop Counters（鏈接是我發現的隨機博客文章）來幫助解決運行（psuedo-）分發時的故障排除。

我承認這個帖子不是解決問題的方法;沒有關於正在發生什麼和在哪裏的更多/進一步的信息，有很多事情可能正在發生。如果是的話，正如你所提到的那樣，不處理'內部java類「，那麼它可能就是你的實現，我們無法看到它提出建議等。

有關該問題的更多數據（如日誌，錯誤或輸出）可能有助於獲得更多的解決方案y響應而不是調試技巧。 :)

編輯：謝謝鏈接到文件。我認爲你的電話缺少一個組件。

我看着在run.sh並認爲這可能讓它爲你工作：

bin/hadoop jar mrif.jar com.javiertordable.mrif.MapReduceQuadraticSieve 689

來源

2011-04-12 21:20:50 Nija

似乎有一些問題，同時打開了writing.What該文件可以在這種情況下做什麼？ – 2011-04-15 05:07:03

@Anurag：有什麼問題？需要更多的信息來解決人們能夠提供幫助的問題。有很多可能性，你可以提供的細節越多，人們願意並且能夠提供幫助的可能性就越大。 – Nija 2011-04-15 15:57:12

查看包含所需jar的zip文件。我試圖只用傳統方法（不是自述文件中給出的方法）來運行它。 http://code.google.com/p/mapreduce-integer-factorization/downloads/detail?name=mrif.zip&can=2&q= – 2011-04-16 06:31:32

在Hadoop集羣上運行mapreduce jar

回答

相關問題